JP2000350187A - 画像監視装置 - Google Patents
画像監視装置Info
- Publication number
- JP2000350187A JP2000350187A JP11158208A JP15820899A JP2000350187A JP 2000350187 A JP2000350187 A JP 2000350187A JP 11158208 A JP11158208 A JP 11158208A JP 15820899 A JP15820899 A JP 15820899A JP 2000350187 A JP2000350187 A JP 2000350187A
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- dictionary
- area
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
Abstract
(57)【要約】
【課題】人物の向きによらず、少ない計算量で監視領域
内の人物の同定を行なうことが可能となる画像監視装置
を提供する。 【解決手段】監視画像入力部2は監視領域内の画像を入
力し、監視画像記憶部3に格納する。人物領域検出部4
はこの入力画像から人物領域を検出し、この検出した人
物領域内の画像を抽出し、人物領域画像記憶部5に格納
する。辞書画像記憶部7は人物領域検出部4で以前に検
出された人物領域画像を人物辞書画像として記憶する。
類似画像検索部6は辞書画像記憶部7に記憶された人物
辞書画像から、人物領域検出部4で新たに検出された人
物領域画像と類似する画像を検索し、新たに検出された
人物領域画像と類似する人物辞書画像が検索された場
合、新たに検出された人物領域画像と検索された人物辞
書画像とが同一人物の画像であると判断する。
内の人物の同定を行なうことが可能となる画像監視装置
を提供する。 【解決手段】監視画像入力部2は監視領域内の画像を入
力し、監視画像記憶部3に格納する。人物領域検出部4
はこの入力画像から人物領域を検出し、この検出した人
物領域内の画像を抽出し、人物領域画像記憶部5に格納
する。辞書画像記憶部7は人物領域検出部4で以前に検
出された人物領域画像を人物辞書画像として記憶する。
類似画像検索部6は辞書画像記憶部7に記憶された人物
辞書画像から、人物領域検出部4で新たに検出された人
物領域画像と類似する画像を検索し、新たに検出された
人物領域画像と類似する人物辞書画像が検索された場
合、新たに検出された人物領域画像と検索された人物辞
書画像とが同一人物の画像であると判断する。
Description
【0001】
【発明の属する技術分野】本発明は、たとえば、スーパ
ーマーケットなどの店舗内における人物や、建物へ侵入
する人物などを監視する画像監視装置に係り、特に監視
領域内の人物の同定を行なう人物同定方法に関する。
ーマーケットなどの店舗内における人物や、建物へ侵入
する人物などを監視する画像監視装置に係り、特に監視
領域内の人物の同定を行なう人物同定方法に関する。
【0002】
【従来の技術】従来の画像監視装置における人物同定方
法には、監視画像から人物の顔部分を抽出して、辞書デ
ータとして登録し、新たに検出された人物の顔部分領域
との類似度を算出することにより、人物の同定を行なう
方法や、一度、監視画像から検出された人物に対して
は、逐次その人物により発生した画像内の変化領域を追
跡することにより、監視画像内の人物の同定を行なう方
法などがある。
法には、監視画像から人物の顔部分を抽出して、辞書デ
ータとして登録し、新たに検出された人物の顔部分領域
との類似度を算出することにより、人物の同定を行なう
方法や、一度、監視画像から検出された人物に対して
は、逐次その人物により発生した画像内の変化領域を追
跡することにより、監視画像内の人物の同定を行なう方
法などがある。
【0003】
【発明が解決しようとする課題】しかしながら、人物の
顔部分の類似度による人物同定方法においては、人物の
顔を撮像する際、人物の顔が常に同じ方向を向いている
とは限らず、人物同定として充分な性能が得られるとは
言いがたい。
顔部分の類似度による人物同定方法においては、人物の
顔を撮像する際、人物の顔が常に同じ方向を向いている
とは限らず、人物同定として充分な性能が得られるとは
言いがたい。
【0004】さらに、画像内の変化領域の追跡により人
物同定を行なう場合には、複数のカメラ間での同定には
使用できない。複数のカメラ間での人物同定に関して
は、それぞれのカメラからの画像を3次元空間に展開
し、人物が立っているであろう地点を計算することで、
同定を行なうといった方法もあるが、処理計算に時間が
かかるといった問題点や、たとえば、店舗内の棚などに
隠れている人物の3次元空間への展開ができないなどと
いった問題点がある。
物同定を行なう場合には、複数のカメラ間での同定には
使用できない。複数のカメラ間での人物同定に関して
は、それぞれのカメラからの画像を3次元空間に展開
し、人物が立っているであろう地点を計算することで、
同定を行なうといった方法もあるが、処理計算に時間が
かかるといった問題点や、たとえば、店舗内の棚などに
隠れている人物の3次元空間への展開ができないなどと
いった問題点がある。
【0005】そこで、本発明は、人物の向きによらず、
少ない計算量で監視領域内の人物の同定を行なうことが
可能となり、ひいては、監視領域内での人物の追跡を行
なうことも可能となる画像監視装置を提供することを目
的とする。
少ない計算量で監視領域内の人物の同定を行なうことが
可能となり、ひいては、監視領域内での人物の追跡を行
なうことも可能となる画像監視装置を提供することを目
的とする。
【0006】
【課題を解決するための手段】本発明の画像監視装置
は、監視領域内の画像を入力する画像入力手段と、この
画像入力手段により入力された画像から人物領域を検出
し、この検出した人物領域内の人物領域画像を検出する
人物領域検出手段と、この人物領域検出手段により以前
に検出された人物領域画像を人物辞書画像として記憶す
る辞書画像記憶手段と、この辞書画像記憶手段に記憶さ
れている人物辞書画像から、前記人物領域検出手段によ
り新たに検出された人物領域画像と類似する画像を検索
する類似画像検索手段と、この類似画像検索手段による
検索の結果、前記新たに検出された人物領域画像と類似
する人物辞書画像が検索された場合、前記新たに検出さ
れた人物領域画像と前記検索された人物辞書画像とが同
一人物の画像であると判断する人物同定手段とを具備し
ている。
は、監視領域内の画像を入力する画像入力手段と、この
画像入力手段により入力された画像から人物領域を検出
し、この検出した人物領域内の人物領域画像を検出する
人物領域検出手段と、この人物領域検出手段により以前
に検出された人物領域画像を人物辞書画像として記憶す
る辞書画像記憶手段と、この辞書画像記憶手段に記憶さ
れている人物辞書画像から、前記人物領域検出手段によ
り新たに検出された人物領域画像と類似する画像を検索
する類似画像検索手段と、この類似画像検索手段による
検索の結果、前記新たに検出された人物領域画像と類似
する人物辞書画像が検索された場合、前記新たに検出さ
れた人物領域画像と前記検索された人物辞書画像とが同
一人物の画像であると判断する人物同定手段とを具備し
ている。
【0007】また、本発明の画像監視装置は、監視領域
内の画像を入力する画像入力手段と、この画像入力手段
により入力された画像から人物領域を検出し、この検出
した人物領域内の人物領域画像を検出するとともに、こ
の検出した人物領域画像の前記監視領域内における位置
情報を検出する人物領域検出手段と、この人物領域検出
手段により以前に検出された人物領域画像およびそれに
対応する位置情報を人物辞書画像として記憶する辞書画
像記憶手段と、この辞書画像記憶手段に記憶されてい
る、前記人物領域検出手段により新たに検出された人物
領域画像の位置情報と対応する位置情報を持った人物辞
書画像から、前記人物領域検出手段により新たに検出さ
れた人物領域画像と類似する画像を検索する類似画像検
索手段と、この類似画像検索手段による検索の結果、前
記新たに検出された人物領域画像と類似する人物辞書画
像が検索された場合、前記新たに検出された人物領域画
像と前記検索された人物辞書画像とが同一人物の画像で
あると判断する人物同定手段とを具備している。
内の画像を入力する画像入力手段と、この画像入力手段
により入力された画像から人物領域を検出し、この検出
した人物領域内の人物領域画像を検出するとともに、こ
の検出した人物領域画像の前記監視領域内における位置
情報を検出する人物領域検出手段と、この人物領域検出
手段により以前に検出された人物領域画像およびそれに
対応する位置情報を人物辞書画像として記憶する辞書画
像記憶手段と、この辞書画像記憶手段に記憶されてい
る、前記人物領域検出手段により新たに検出された人物
領域画像の位置情報と対応する位置情報を持った人物辞
書画像から、前記人物領域検出手段により新たに検出さ
れた人物領域画像と類似する画像を検索する類似画像検
索手段と、この類似画像検索手段による検索の結果、前
記新たに検出された人物領域画像と類似する人物辞書画
像が検索された場合、前記新たに検出された人物領域画
像と前記検索された人物辞書画像とが同一人物の画像で
あると判断する人物同定手段とを具備している。
【0008】また、本発明の画像監視装置は、類似画像
検索手段は、辞書画像記憶手段に記憶されている人物辞
書画像から、人物領域検出手段により新たに検出された
人物領域画像と類似する画像を検索する際、色相、彩
度、明度の特徴量を用いることを特徴とする。
検索手段は、辞書画像記憶手段に記憶されている人物辞
書画像から、人物領域検出手段により新たに検出された
人物領域画像と類似する画像を検索する際、色相、彩
度、明度の特徴量を用いることを特徴とする。
【0009】また、本発明の画像監視装置は、類似画像
検索手段は、辞書画像記憶手段に記憶されている人物辞
書画像から、人物領域検出手段により新たに検出された
人物領域画像と類似する画像を検索する際、色相、彩
度、明度の特徴量に対して、それぞれ所定の重み付けを
加えることを特徴とする。
検索手段は、辞書画像記憶手段に記憶されている人物辞
書画像から、人物領域検出手段により新たに検出された
人物領域画像と類似する画像を検索する際、色相、彩
度、明度の特徴量に対して、それぞれ所定の重み付けを
加えることを特徴とする。
【0010】また、本発明の画像監視装置は、類似画像
検索手段は、辞書画像記憶手段に記憶されている人物辞
書画像から、人物領域検出手段により新たに検出された
人物領域画像と類似する画像を検索する際、人物領域検
出手段により画像入力手段で入力された画像から検出さ
れた人物領域画像の縦サイズと横サイズとの比に応じた
重み付けを加えることを特徴とする。
検索手段は、辞書画像記憶手段に記憶されている人物辞
書画像から、人物領域検出手段により新たに検出された
人物領域画像と類似する画像を検索する際、人物領域検
出手段により画像入力手段で入力された画像から検出さ
れた人物領域画像の縦サイズと横サイズとの比に応じた
重み付けを加えることを特徴とする。
【0011】また、本発明の画像監視装置は、類似画像
検索手段は、辞書画像記憶手段に記憶されている人物辞
書画像から、人物領域検出手段により新たに検出された
人物領域画像と類似する画像を検索する際、人物領域検
出手段により画像入力手段で入力された画像から検出さ
れた人物領域の監視領域内の位置に応じた重み付けを加
えることを特徴とする。
検索手段は、辞書画像記憶手段に記憶されている人物辞
書画像から、人物領域検出手段により新たに検出された
人物領域画像と類似する画像を検索する際、人物領域検
出手段により画像入力手段で入力された画像から検出さ
れた人物領域の監視領域内の位置に応じた重み付けを加
えることを特徴とする。
【0012】また、本発明の画像監視装置は、人物同定
手段により人物同定が行なわれると、そのときの新たに
検出された人物領域画像を新たな人物辞書画像として辞
書画像記憶手段内の人物辞書画像を更新することを特徴
とする。
手段により人物同定が行なわれると、そのときの新たに
検出された人物領域画像を新たな人物辞書画像として辞
書画像記憶手段内の人物辞書画像を更新することを特徴
とする。
【0013】さらに、本発明の画像監視装置は、互いに
監視領域の一部が重複するように配設され、複数の監視
領域内の各画像をそれぞれ入力する複数の画像入力手段
と、この複数の画像入力手段により入力された各画像か
ら人物領域をそれぞれ検出し、この検出した各人物領域
内の人物領域画像をそれぞれ検出する人物領域検出手段
と、この人物領域検出手段により以前に検出された人物
領域画像を人物辞書画像として記憶する辞書画像記憶手
段と、この辞書画像記憶手段に記憶されている人物辞書
画像から、前記人物領域検出手段により新たに検出され
た複数の人物領域画像とそれぞれ類似する画像を検索す
る類似画像検索手段と、この類似画像検索手段による検
索の結果、前記新たに検出された複数の人物領域画像と
それぞれ類似する人物辞書画像が検索された場合、前記
新たに検出された複数の人物領域画像と前記検索された
複数の人物辞書画像とがそれぞれ同一人物の画像である
と判断する人物同定手段とを具備している。
監視領域の一部が重複するように配設され、複数の監視
領域内の各画像をそれぞれ入力する複数の画像入力手段
と、この複数の画像入力手段により入力された各画像か
ら人物領域をそれぞれ検出し、この検出した各人物領域
内の人物領域画像をそれぞれ検出する人物領域検出手段
と、この人物領域検出手段により以前に検出された人物
領域画像を人物辞書画像として記憶する辞書画像記憶手
段と、この辞書画像記憶手段に記憶されている人物辞書
画像から、前記人物領域検出手段により新たに検出され
た複数の人物領域画像とそれぞれ類似する画像を検索す
る類似画像検索手段と、この類似画像検索手段による検
索の結果、前記新たに検出された複数の人物領域画像と
それぞれ類似する人物辞書画像が検索された場合、前記
新たに検出された複数の人物領域画像と前記検索された
複数の人物辞書画像とがそれぞれ同一人物の画像である
と判断する人物同定手段とを具備している。
【0014】本発明によれば、監視画像間での人物同定
を、現在の監視画像から抽出された人物領域画像と類似
する以前の監視画像から抽出された人物領域画像により
構成される人物辞書画像から検索することにより行なう
ことで、人物の向きによらず、少ない計算量で監視領域
内の人物の同定を行なうことが可能となり、ひいては、
監視領域内での人物の追跡を行なうことも可能となる。
を、現在の監視画像から抽出された人物領域画像と類似
する以前の監視画像から抽出された人物領域画像により
構成される人物辞書画像から検索することにより行なう
ことで、人物の向きによらず、少ない計算量で監視領域
内の人物の同定を行なうことが可能となり、ひいては、
監視領域内での人物の追跡を行なうことも可能となる。
【0015】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【0016】まず、第1の実施の形態について説明す
る。
る。
【0017】図1は、第1の実施の形態に係る画像監視
装置の構成を概略的に示すものである。この画像監視装
置は、装置全体を制御するシステム制御部1、監視領域
内の画像を撮影してその画像をデジタル画像として入力
するビデオカメラなどからなる監視画像入力部(画像入
力手段)2、監視画像入力部2で入力された監視画像を
記憶する監視画像記憶部(画像記憶手段)3、監視画像
記憶部3に記憶された画像から人物領域を検出し、検出
した人物領域の画像を抽出する人物領域検出部(人物領
域検出手段)4、人物領域検出部4で検出した人物領域
画像を記憶する人物領域画像記憶部(画像記憶手段)
5、検出された人物領域画像を人物同定用の人物辞書画
像として登録したり、あるいは、登録されている人物辞
書画像から人物領域画像と類似する画像を検索し、その
検索結果から人物領域画像として検出された画像と、人
物辞書画像として記憶されている画像とが同一人物の画
像であるかどうかなどを判定する類似画像検索部(類似
画像検索手段、人物同定手段)6、および、人物辞書画
像として登録された人物領域画像を記憶する辞書画像記
憶部(辞書画像記憶手段)7によって構成されている。
装置の構成を概略的に示すものである。この画像監視装
置は、装置全体を制御するシステム制御部1、監視領域
内の画像を撮影してその画像をデジタル画像として入力
するビデオカメラなどからなる監視画像入力部(画像入
力手段)2、監視画像入力部2で入力された監視画像を
記憶する監視画像記憶部(画像記憶手段)3、監視画像
記憶部3に記憶された画像から人物領域を検出し、検出
した人物領域の画像を抽出する人物領域検出部(人物領
域検出手段)4、人物領域検出部4で検出した人物領域
画像を記憶する人物領域画像記憶部(画像記憶手段)
5、検出された人物領域画像を人物同定用の人物辞書画
像として登録したり、あるいは、登録されている人物辞
書画像から人物領域画像と類似する画像を検索し、その
検索結果から人物領域画像として検出された画像と、人
物辞書画像として記憶されている画像とが同一人物の画
像であるかどうかなどを判定する類似画像検索部(類似
画像検索手段、人物同定手段)6、および、人物辞書画
像として登録された人物領域画像を記憶する辞書画像記
憶部(辞書画像記憶手段)7によって構成されている。
【0018】図2は、上記のように構成された画像監視
装置の動作を主に人物同定処理を主体に説明するフロー
チャートであり、以下、このフローチャートに基づき動
作を説明する。
装置の動作を主に人物同定処理を主体に説明するフロー
チャートであり、以下、このフローチャートに基づき動
作を説明する。
【0019】まず、システム制御部1からの指示によ
り、監視画像入力部2で監視領域内の画像を入力し(S
1)、監視画像記憶部3に記憶する。次に、人物領域検
出部4は、監視画像記憶部3に記憶された監視画像か
ら、たとえば、変化領域を検出し、この変化領域の大き
さから人物らしい領域が画像内にあるか否かを判定する
(S2)。ここで、入力画像からの変化領域の検出方法
としては、あらかじめ記憶されている移動する物体の存
在しない状態での背景画像との差分を取るなどの方法で
もよいし、その他の手法でもかまわない。
り、監視画像入力部2で監視領域内の画像を入力し(S
1)、監視画像記憶部3に記憶する。次に、人物領域検
出部4は、監視画像記憶部3に記憶された監視画像か
ら、たとえば、変化領域を検出し、この変化領域の大き
さから人物らしい領域が画像内にあるか否かを判定する
(S2)。ここで、入力画像からの変化領域の検出方法
としては、あらかじめ記憶されている移動する物体の存
在しない状態での背景画像との差分を取るなどの方法で
もよいし、その他の手法でもかまわない。
【0020】ステップS2において、監視画像記憶部3
に記憶された監視画像に人物が存在しないと判定された
場合には、ステップS1の監視領域画像の入力処理に戻
る。また、ステップS2において、監視画像記憶部3に
記憶された監視画像に人物が存在すると判定された場
合、人物領域検出部4は、その人物領域のみを検出し
て、人物領域内の人物領域画像を抽出し(S3)、人物
領域画像記憶部5に記憶する。ここで、抽出される人物
領域画像は、背景画像との差分により検出された変化領
域のみであってもよいし、背景画像との差分により検出
された変化領域を囲み、その領域よりも所定量大きい領
域に設定された矩形の領域であってもかまわない。
に記憶された監視画像に人物が存在しないと判定された
場合には、ステップS1の監視領域画像の入力処理に戻
る。また、ステップS2において、監視画像記憶部3に
記憶された監視画像に人物が存在すると判定された場
合、人物領域検出部4は、その人物領域のみを検出し
て、人物領域内の人物領域画像を抽出し(S3)、人物
領域画像記憶部5に記憶する。ここで、抽出される人物
領域画像は、背景画像との差分により検出された変化領
域のみであってもよいし、背景画像との差分により検出
された変化領域を囲み、その領域よりも所定量大きい領
域に設定された矩形の領域であってもかまわない。
【0021】次に、類似画像検索部6は、既に辞書画像
記憶部7に何らかの人物領域画像が辞書画像として記憶
(登録)されているかどうかを判断し(S4)、まだ人
物辞書画像が記憶されていない場合には、人物領域画像
記憶部5に記憶されている人物領域画像を新たに人物辞
書画像として辞書画像記憶部7に記憶する(S5)。既
に、辞書画像記憶部7に何らかの人物辞書画像が記憶さ
れている場合には、類似画像検索部6は、人物領域画像
記憶部5に記憶されている人物領域画像に類似する画像
を辞書画像記憶部7から検索し(S6)、その検索結果
を判定する(S7)。
記憶部7に何らかの人物領域画像が辞書画像として記憶
(登録)されているかどうかを判断し(S4)、まだ人
物辞書画像が記憶されていない場合には、人物領域画像
記憶部5に記憶されている人物領域画像を新たに人物辞
書画像として辞書画像記憶部7に記憶する(S5)。既
に、辞書画像記憶部7に何らかの人物辞書画像が記憶さ
れている場合には、類似画像検索部6は、人物領域画像
記憶部5に記憶されている人物領域画像に類似する画像
を辞書画像記憶部7から検索し(S6)、その検索結果
を判定する(S7)。
【0022】すなわち、類似画像検索部6での検索の結
果、人物領域画像記憶部5に記憶されている人物領域画
像と類似する人物辞書画像が辞書画像記憶部7に存在し
ない場合、人物領域画像記憶部5に記憶されている人物
領域画像を新たに人物辞書画像として辞書画像記憶部7
に記憶し(S5)、また、人物領域画像記憶部5に記憶
されている人物領域画像と類似する人物辞書画像が辞書
画像記憶部7に存在する場合には、人物領域画像記憶部
5に記憶されている人物領域画像と辞書画像記憶部7か
ら検索された人物辞書画像とが同一人物の画像であると
判断し、その旨をシステム制御部1に通知する(S
8)。
果、人物領域画像記憶部5に記憶されている人物領域画
像と類似する人物辞書画像が辞書画像記憶部7に存在し
ない場合、人物領域画像記憶部5に記憶されている人物
領域画像を新たに人物辞書画像として辞書画像記憶部7
に記憶し(S5)、また、人物領域画像記憶部5に記憶
されている人物領域画像と類似する人物辞書画像が辞書
画像記憶部7に存在する場合には、人物領域画像記憶部
5に記憶されている人物領域画像と辞書画像記憶部7か
ら検索された人物辞書画像とが同一人物の画像であると
判断し、その旨をシステム制御部1に通知する(S
8)。
【0023】ここで、類似画像検索部6における類似画
像検索処理の一例について図3を参照して説明する。た
とえば、図3に示すように、まず、比較する2枚の画像
A、画像BをM×N画素の大きさの画像に正規化し、そ
れぞれの正規化された画像を正規化画像A、および、正
規化画像Bとする。正規化画像A、正規化画像Bは、そ
れぞれX×Yのブロックに分割され、各ブロックごとに
画像の特徴量を算出する。算出された特徴量をそれぞれ
特徴量データAと特徴量データBとする。このとき、特
徴量データAおよび特徴量データBはそれぞれX×Y個
存在する。
像検索処理の一例について図3を参照して説明する。た
とえば、図3に示すように、まず、比較する2枚の画像
A、画像BをM×N画素の大きさの画像に正規化し、そ
れぞれの正規化された画像を正規化画像A、および、正
規化画像Bとする。正規化画像A、正規化画像Bは、そ
れぞれX×Yのブロックに分割され、各ブロックごとに
画像の特徴量を算出する。算出された特徴量をそれぞれ
特徴量データAと特徴量データBとする。このとき、特
徴量データAおよび特徴量データBはそれぞれX×Y個
存在する。
【0024】ここで、正規化画像の特徴量として、たと
えば、各ブロックごとの色相、彩度、明度を算出する。
2つの画像に対する特徴量について、同一位置にあるブ
ロック間での特徴量の距離を算出することで、2つの画
像の類似度が計算される。この際、比較する特徴量とし
て、上記色相、彩度、明度の全ての対応するブロック間
での距離計算を行なってもよいし、色相、彩度、明度の
適当な組合わせで類似度を算出、あるいは、各特徴量に
ブロック位置による重み付けを加えて類似度を算出する
ようにしてもかまわない。
えば、各ブロックごとの色相、彩度、明度を算出する。
2つの画像に対する特徴量について、同一位置にあるブ
ロック間での特徴量の距離を算出することで、2つの画
像の類似度が計算される。この際、比較する特徴量とし
て、上記色相、彩度、明度の全ての対応するブロック間
での距離計算を行なってもよいし、色相、彩度、明度の
適当な組合わせで類似度を算出、あるいは、各特徴量に
ブロック位置による重み付けを加えて類似度を算出する
ようにしてもかまわない。
【0025】また、2枚の画像が類似するかどうかの判
断には、たとえば、あらかじめ所定の閾値を設定してお
き、類似度がその閾値を超えるか否かにより判断するよ
うにする。
断には、たとえば、あらかじめ所定の閾値を設定してお
き、類似度がその閾値を超えるか否かにより判断するよ
うにする。
【0026】上述した処理を人物領域画像が検出される
度に行なうことにより、直前の画像に含まれる人物と類
似すると判断された人物辞書画像が現在の画像に含まれ
る人物と類似すると判定することで、監視領域内での同
一人物の追跡を行なうことが可能となる。
度に行なうことにより、直前の画像に含まれる人物と類
似すると判断された人物辞書画像が現在の画像に含まれ
る人物と類似すると判定することで、監視領域内での同
一人物の追跡を行なうことが可能となる。
【0027】また、たとえば、図4に示すように、複数
の監視画像入力部(ここではカメラと略称する)2a,
2bが互いに監視領域8a,8bの一部を重複するよう
な配置で設置されているような場合において、人物Aが
時刻Aには地点Aにおり、地点Aから時刻Bには地点B
へ、地点Bから時刻Cには地点Cへと移動すると、カメ
ラ2aにおいて撮影される監視画像は、監視画像1、監
視画像2、監視画像3となり、カメラ2bにおいて撮影
される監視画像は、監視画像4、監視画像5、監視画像
6という具合になる。
の監視画像入力部(ここではカメラと略称する)2a,
2bが互いに監視領域8a,8bの一部を重複するよう
な配置で設置されているような場合において、人物Aが
時刻Aには地点Aにおり、地点Aから時刻Bには地点B
へ、地点Bから時刻Cには地点Cへと移動すると、カメ
ラ2aにおいて撮影される監視画像は、監視画像1、監
視画像2、監視画像3となり、カメラ2bにおいて撮影
される監視画像は、監視画像4、監視画像5、監視画像
6という具合になる。
【0028】各カメラ2a,2bの監視視野の関係によ
り、時刻Aにおいては、カメラ2aによる監視画像にの
み人物Aが撮影され、時刻Bにおいては、カメラ2aお
よびカメラ2bによる監視画像にそれぞれ人物Aが撮影
され、時刻Cにおいては、カメラ2bによる監視画像に
のみ人物Aが撮影される。
り、時刻Aにおいては、カメラ2aによる監視画像にの
み人物Aが撮影され、時刻Bにおいては、カメラ2aお
よびカメラ2bによる監視画像にそれぞれ人物Aが撮影
され、時刻Cにおいては、カメラ2bによる監視画像に
のみ人物Aが撮影される。
【0029】ここで、各監視画像から人物領域を抽出
し、監視画像1の人物Aと監視画像2の人物Aと、監視
画像5の人物Aそれぞれに類似する人物辞書画像が一致
すれば、監視画像を撮影したカメラが異なったにも関わ
らず、カメラ2a,2b間での同一人物の追跡を行なう
ことが可能となる。すなわち、いわゆるカメラ渡りによ
る人物追跡が可能となる。
し、監視画像1の人物Aと監視画像2の人物Aと、監視
画像5の人物Aそれぞれに類似する人物辞書画像が一致
すれば、監視画像を撮影したカメラが異なったにも関わ
らず、カメラ2a,2b間での同一人物の追跡を行なう
ことが可能となる。すなわち、いわゆるカメラ渡りによ
る人物追跡が可能となる。
【0030】さらに、監視画像から検出される人物領域
画像の縦サイズと横サイズとの比較などにより、人物辞
書画像から類似画像を検索するために類似度を算出する
際のブロック位置による重み付けを変化させるようにし
てもよい。
画像の縦サイズと横サイズとの比較などにより、人物辞
書画像から類似画像を検索するために類似度を算出する
際のブロック位置による重み付けを変化させるようにし
てもよい。
【0031】すなわち、監視画像から検出される人物領
域画像の縦サイズが横サイズの、たとえば、2倍以上あ
る場合には、人物の全身が人物画像として抽出されてい
るものと判断し、人物辞書画像の全てのブロック位置に
均等の重みを付けて類似度を算出するようにし、また、
人物領域画像の縦サイズが横サイズの、たとえば、2倍
未満である場合には、人物の上半身のみが人物画像とし
て抽出されているものと判断し、人物辞書画像の上半分
のブロックに対しては大きく、下半分のブロックに対し
ては小さな重みを付けて、類似度を算出するようにする
といったように、監視画像から検出される人物領域画像
の縦サイズと横サイズとの比によって類似度計算時のブ
ロック位置による重み付けを変化させる。
域画像の縦サイズが横サイズの、たとえば、2倍以上あ
る場合には、人物の全身が人物画像として抽出されてい
るものと判断し、人物辞書画像の全てのブロック位置に
均等の重みを付けて類似度を算出するようにし、また、
人物領域画像の縦サイズが横サイズの、たとえば、2倍
未満である場合には、人物の上半身のみが人物画像とし
て抽出されているものと判断し、人物辞書画像の上半分
のブロックに対しては大きく、下半分のブロックに対し
ては小さな重みを付けて、類似度を算出するようにする
といったように、監視画像から検出される人物領域画像
の縦サイズと横サイズとの比によって類似度計算時のブ
ロック位置による重み付けを変化させる。
【0032】なお、辞書画像記憶部7内の人物辞書画像
については、類似画像検索部6において現在の監視画像
から検出された人物領域画像に類似する人物辞書画像が
検索され、さらに、類似度が所定の閾値を超え、人物領
域画像と人物辞書画像とが同一人物の画像であると判断
された場合に、該人物辞書画像を現在の監視画像から検
出された人物領域画像により更新するようにする。
については、類似画像検索部6において現在の監視画像
から検出された人物領域画像に類似する人物辞書画像が
検索され、さらに、類似度が所定の閾値を超え、人物領
域画像と人物辞書画像とが同一人物の画像であると判断
された場合に、該人物辞書画像を現在の監視画像から検
出された人物領域画像により更新するようにする。
【0033】次に、第2の実施の形態について説明す
る。
る。
【0034】図5は、第2の実施の形態に係る画像監視
装置の構成を概略的に示すものである。この画像監視装
置は、基本的には前述した第1の実施の形態と同様であ
るが、人物領域検出部4および類似画像検索部6の機
能、人物領域画像記憶部5および辞書画像記憶部7の構
成が異なっている。
装置の構成を概略的に示すものである。この画像監視装
置は、基本的には前述した第1の実施の形態と同様であ
るが、人物領域検出部4および類似画像検索部6の機
能、人物領域画像記憶部5および辞書画像記憶部7の構
成が異なっている。
【0035】すなわち、人物領域画像記憶部5は、人物
領域画像そのものを記憶する画像記憶部51と人物領域
画像の監視領域(監視画像)内での位置情報(座標)を
記憶する位置記憶部52とで構成され、辞書画像記憶部
7は、人物辞書画像そのものを記憶する画像記憶部71
と、人物辞書画像である人物領域画像の監視領域内での
位置情報(座標)を記憶する位置記憶部72とで構成さ
れている。
領域画像そのものを記憶する画像記憶部51と人物領域
画像の監視領域(監視画像)内での位置情報(座標)を
記憶する位置記憶部52とで構成され、辞書画像記憶部
7は、人物辞書画像そのものを記憶する画像記憶部71
と、人物辞書画像である人物領域画像の監視領域内での
位置情報(座標)を記憶する位置記憶部72とで構成さ
れている。
【0036】人物領域検出部4は、監視画像記憶部3に
記憶された監視画像から人物領域画像を検出する際に、
監視領域内でのその位置情報(座標)をも検出し、検出
した人物領域画像を画像記憶部51に記憶するととも
に、その人物領域画像と対応付けてその位置情報を位置
記憶部52に記憶する。
記憶された監視画像から人物領域画像を検出する際に、
監視領域内でのその位置情報(座標)をも検出し、検出
した人物領域画像を画像記憶部51に記憶するととも
に、その人物領域画像と対応付けてその位置情報を位置
記憶部52に記憶する。
【0037】また、類似画像検索部6は、人物領域検出
部4で検出された人物領域画像を人物辞書画像として記
憶する際に、人物領域画像を画像記憶部71に記憶する
とともに、その人物領域画像と対応付けてその位置情報
を位置記憶部72に記憶する。
部4で検出された人物領域画像を人物辞書画像として記
憶する際に、人物領域画像を画像記憶部71に記憶する
とともに、その人物領域画像と対応付けてその位置情報
を位置記憶部72に記憶する。
【0038】そして、類似画像検索部6は、人物領域画
像記憶部5の画像記憶部51に記憶されている人物領域
画像に類似する人物辞書画像を辞書画像記憶部7の画像
記憶部71から検索する際に、まず、人物領域画像記憶
部5の位置記憶部52に人物領域画像と対応付けて記憶
されている位置情報と同じ位置情報を辞書画像記憶部7
の位置記憶部72から検索し、次に、この検索した位置
情報と対応して画像記憶部71に記憶されている人物辞
書画像から、画像記憶部51に記憶されている人物領域
画像と類似する人物辞書画像を検索する。
像記憶部5の画像記憶部51に記憶されている人物領域
画像に類似する人物辞書画像を辞書画像記憶部7の画像
記憶部71から検索する際に、まず、人物領域画像記憶
部5の位置記憶部52に人物領域画像と対応付けて記憶
されている位置情報と同じ位置情報を辞書画像記憶部7
の位置記憶部72から検索し、次に、この検索した位置
情報と対応して画像記憶部71に記憶されている人物辞
書画像から、画像記憶部51に記憶されている人物領域
画像と類似する人物辞書画像を検索する。
【0039】これにより、人物領域画像の監視領域内で
の位置により、類似検索を行なう対象人物辞書画像の候
補を限定することができ、より高性能な類似画像検索結
果を得ることが可能となる。これは、たとえば、監視領
域内の位置の違いによる照明条件の変化により、同一人
物の画像でも、その人物の検出位置で人物領域画像に洋
服などの色の違いが生じることにより、異なった類似画
像を検索してしまうことを防ぐことになる。
の位置により、類似検索を行なう対象人物辞書画像の候
補を限定することができ、より高性能な類似画像検索結
果を得ることが可能となる。これは、たとえば、監視領
域内の位置の違いによる照明条件の変化により、同一人
物の画像でも、その人物の検出位置で人物領域画像に洋
服などの色の違いが生じることにより、異なった類似画
像を検索してしまうことを防ぐことになる。
【0040】具体的には、たとえば、監視領域の地点A
(監視画像座標(X1,Y1))付近に存在する人物領
域画像に類似する人物辞書画像を検索する際には、同じ
く監視領域の地点A付近(監視画像座標(X1,Y
1))に存在した人物辞書画像を用いて類似画像を検索
するなどといった方法があげられる。
(監視画像座標(X1,Y1))付近に存在する人物領
域画像に類似する人物辞書画像を検索する際には、同じ
く監視領域の地点A付近(監視画像座標(X1,Y
1))に存在した人物辞書画像を用いて類似画像を検索
するなどといった方法があげられる。
【0041】また、監視領域内にあらかじめ存在する障
害物により、その地点(監視画像座標(X2,Y2))
での人物領域画像は、必ず上半身のみのものであること
がわかっているような場合には、その地点(監視画像座
標(X2,Y2))で検出される人物領域画像に類似す
る人物辞書画像を検索する際には、常に、人物辞書画像
の上半身に相当するブロックのみで類似度を算出するよ
うにしてもよい。
害物により、その地点(監視画像座標(X2,Y2))
での人物領域画像は、必ず上半身のみのものであること
がわかっているような場合には、その地点(監視画像座
標(X2,Y2))で検出される人物領域画像に類似す
る人物辞書画像を検索する際には、常に、人物辞書画像
の上半身に相当するブロックのみで類似度を算出するよ
うにしてもよい。
【0042】なお、第2の実施の形態においても、前述
した第1の実施の形態と同様に、類似度算出時の画像特
徴量として、色相、彩度、明度などを使用し、使用時に
は、それぞれの特徴量に異なった重み付けを加えること
も可能であるし、検出された人物領域画像の縦サイズと
横サイズとの比により、類似度算出時の分割ブロックご
とに異なった重み付けを加えることも可能である。
した第1の実施の形態と同様に、類似度算出時の画像特
徴量として、色相、彩度、明度などを使用し、使用時に
は、それぞれの特徴量に異なった重み付けを加えること
も可能であるし、検出された人物領域画像の縦サイズと
横サイズとの比により、類似度算出時の分割ブロックご
とに異なった重み付けを加えることも可能である。
【0043】また、同様に、時系列的に連続した監視画
像から検出された人物領域画像に類似する人物辞書画像
を検索することで、直前の類似画像検索結果との比較に
より、人物の監視領域内での追跡や、異なった監視画像
入力部からの監視画像から検出された人物領域画像に類
似する辞書画像を検索し、比較することで、人物の異な
った監視画像入力部間での移動に追随可能な人物の追跡
を行なえることは明らかである。さらに、人物辞書画像
についても、その更新のタイミングは前述した第1の実
施の形態と同様である。
像から検出された人物領域画像に類似する人物辞書画像
を検索することで、直前の類似画像検索結果との比較に
より、人物の監視領域内での追跡や、異なった監視画像
入力部からの監視画像から検出された人物領域画像に類
似する辞書画像を検索し、比較することで、人物の異な
った監視画像入力部間での移動に追随可能な人物の追跡
を行なえることは明らかである。さらに、人物辞書画像
についても、その更新のタイミングは前述した第1の実
施の形態と同様である。
【0044】
【発明の効果】以上詳述したように本発明によれば、人
物の向きによらず、少ない計算量で監視領域内の人物の
同定を行なうことが可能となり、ひいては、監視領域内
での人物の追跡を行なうことも可能となる画像監視装置
を提供できる。
物の向きによらず、少ない計算量で監視領域内の人物の
同定を行なうことが可能となり、ひいては、監視領域内
での人物の追跡を行なうことも可能となる画像監視装置
を提供できる。
【図1】本発明の第1実施の形態に係る画像監視装置の
構成を概略的に示すブロック図。
構成を概略的に示すブロック図。
【図2】画像監視装置の動作を主に人物同定処理を主体
に説明するフローチャート。
に説明するフローチャート。
【図3】類似画像検索部における類似画像検索処理の一
例を説明する図。
例を説明する図。
【図4】異なったカメラからの監視画像間での人物同定
を行なうことにより人物追跡を行なう原理を説明する
図。
を行なうことにより人物追跡を行なう原理を説明する
図。
【図5】本発明の第2施の形態に係る画像監視装置の構
成を概略的に示すブロック図。
成を概略的に示すブロック図。
1……システム制御部 2……監視画像入力部(画像入力手段) 3……監視画像記憶部 4……人物領域検出部(人物領域検出手段) 5……人物領域画像記憶部 6……類似画像検索部(類似画像検索手段、人物同定手
段) 7……辞書画像記憶部(辞書画像記憶手段) 51,71……画像記憶部 52,72……位置記憶部
段) 7……辞書画像記憶部(辞書画像記憶手段) 51,71……画像記憶部 52,72……位置記憶部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡崎 彰夫 神奈川県川崎市幸区柳町70番地 株式会社 東芝柳町工場内 Fターム(参考) 5C054 FC01 FC07 FC12 FC15 FD02 GB01 GB12 GD09 HA18 5C084 AA02 AA07 BB04 BB40 CC19 DD11 GG56 GG78 5C087 AA02 AA03 DD05 DD20 EE08 EE20 GG02 GG10 GG19 GG31
Claims (8)
- 【請求項1】 監視領域内の画像を入力する画像入力手
段と、 この画像入力手段により入力された画像から人物領域を
検出し、この検出した人物領域内の人物領域画像を検出
する人物領域検出手段と、 この人物領域検出手段により以前に検出された人物領域
画像を人物辞書画像として記憶する辞書画像記憶手段
と、 この辞書画像記憶手段に記憶されている人物辞書画像か
ら、前記人物領域検出手段により新たに検出された人物
領域画像と類似する画像を検索する類似画像検索手段
と、 この類似画像検索手段による検索の結果、前記新たに検
出された人物領域画像と類似する人物辞書画像が検索さ
れた場合、前記新たに検出された人物領域画像と前記検
索された人物辞書画像とが同一人物の画像であると判断
する人物同定手段と、 を具備したことを特徴とする画像監視装置。 - 【請求項2】 監視領域内の画像を入力する画像入力手
段と、 この画像入力手段により入力された画像から人物領域を
検出し、この検出した人物領域内の人物領域画像を検出
するとともに、この検出した人物領域画像の前記監視領
域内における位置情報を検出する人物領域検出手段と、 この人物領域検出手段により以前に検出された人物領域
画像およびそれに対応する位置情報を人物辞書画像とし
て記憶する辞書画像記憶手段と、 この辞書画像記憶手段に記憶されている、前記人物領域
検出手段により新たに検出された人物領域画像の位置情
報と対応する位置情報を持った人物辞書画像から、前記
人物領域検出手段により新たに検出された人物領域画像
と類似する画像を検索する類似画像検索手段と、 この類似画像検索手段による検索の結果、前記新たに検
出された人物領域画像と類似する人物辞書画像が検索さ
れた場合、前記新たに検出された人物領域画像と前記検
索された人物辞書画像とが同一人物の画像であると判断
する人物同定手段と、 を具備したことを特徴とする画像監視装置。 - 【請求項3】 前記類似画像検索手段は、前記辞書画像
記憶手段に記憶されている人物辞書画像から、前記人物
領域検出手段により新たに検出された人物領域画像と類
似する画像を検索する際、色相、彩度、明度の特徴量を
用いることを特徴とする請求項1または2記載の画像監
視装置。 - 【請求項4】 前記類似画像検索手段は、前記辞書画像
記憶手段に記憶されている人物辞書画像から、前記人物
領域検出手段により新たに検出された人物領域画像と類
似する画像を検索する際、色相、彩度、明度の特徴量に
対して、それぞれ所定の重み付けを加えることを特徴と
する請求項3記載の画像監視装置。 - 【請求項5】 前記類似画像検索手段は、前記辞書画像
記憶手段に記憶されている人物辞書画像から、前記人物
領域検出手段により新たに検出された人物領域画像と類
似する画像を検索する際、前記人物領域検出手段により
前記画像入力手段で入力された画像から検出された人物
領域画像の縦サイズと横サイズとの比に応じた重み付け
を加えることを特徴とする請求項1または2記載の画像
監視装置。 - 【請求項6】 前記類似画像検索手段は、前記辞書画像
記憶手段に記憶されている人物辞書画像から、前記人物
領域検出手段により新たに検出された人物領域画像と類
似する画像を検索する際、前記人物領域検出手段により
前記画像入力手段で入力された画像から検出された人物
領域の前記監視領域内の位置に応じた重み付けを加える
ことを特徴とする請求項1または2記載の画像監視装
置。 - 【請求項7】 前記人物同定手段により人物同定が行な
われると、そのときの新たに検出された人物領域画像を
新たな人物辞書画像として前記辞書画像記憶手段内の人
物辞書画像を更新することを特徴とする請求項1または
2記載の画像監視装置。 - 【請求項8】 互いに監視領域の一部が重複するように
配設され、複数の監視領域内の各画像をそれぞれ入力す
る複数の画像入力手段と、 この複数の画像入力手段により入力された各画像から人
物領域をそれぞれ検出し、この検出した各人物領域内の
人物領域画像をそれぞれ検出する人物領域検出手段と、 この人物領域検出手段により以前に検出された人物領域
画像を人物辞書画像として記憶する辞書画像記憶手段
と、 この辞書画像記憶手段に記憶されている人物辞書画像か
ら、前記人物領域検出手段により新たに検出された複数
の人物領域画像とそれぞれ類似する画像を検索する類似
画像検索手段と、 この類似画像検索手段による検索の結果、前記新たに検
出された複数の人物領域画像とそれぞれ類似する人物辞
書画像が検索された場合、前記新たに検出された複数の
人物領域画像と前記検索された複数の人物辞書画像とが
それぞれ同一人物の画像であると判断する人物同定手段
と、 を具備したことを特徴とする画像監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11158208A JP2000350187A (ja) | 1999-06-04 | 1999-06-04 | 画像監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11158208A JP2000350187A (ja) | 1999-06-04 | 1999-06-04 | 画像監視装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000350187A true JP2000350187A (ja) | 2000-12-15 |
Family
ID=15666653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11158208A Pending JP2000350187A (ja) | 1999-06-04 | 1999-06-04 | 画像監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000350187A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002279540A (ja) * | 2001-03-16 | 2002-09-27 | Victor Co Of Japan Ltd | 画像監視システム及びネットワークを用いた画像監視システム |
JP2012060529A (ja) * | 2010-09-10 | 2012-03-22 | Toshiba Corp | 画像処理装置及び画像処理方法 |
-
1999
- 1999-06-04 JP JP11158208A patent/JP2000350187A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002279540A (ja) * | 2001-03-16 | 2002-09-27 | Victor Co Of Japan Ltd | 画像監視システム及びネットワークを用いた画像監視システム |
JP4631187B2 (ja) * | 2001-03-16 | 2011-02-16 | 日本ビクター株式会社 | 画像監視システム及びネットワークを用いた画像監視システム |
JP2012060529A (ja) * | 2010-09-10 | 2012-03-22 | Toshiba Corp | 画像処理装置及び画像処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111627045A (zh) | 单镜头下的多行人在线跟踪方法、装置、设备及存储介质 | |
JP4373840B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
JP2011060167A (ja) | 移動物体追跡装置 | |
JP7085812B2 (ja) | 画像処理装置およびその制御方法 | |
JP2010206405A (ja) | 画像監視装置 | |
Mikolajczyk et al. | Face detection in a video sequence-a temporal approach | |
JP6503079B2 (ja) | 特定人物検知システム、特定人物検知方法および検知装置 | |
JP2001076156A (ja) | 画像監視装置 | |
JP2008250772A (ja) | 移動物体追跡装置 | |
JP2016085675A (ja) | 移動物体追跡装置 | |
Urbann et al. | Online and real-time tracking in a surveillance scenario | |
CN114926859A (zh) | 一种结合头部跟踪的密集场景下行人多目标跟踪方法 | |
JP2006301995A (ja) | 人物検索装置及び人物検索方法 | |
CN114219828A (zh) | 一种基于视频的目标关联方法、装置和可读存储介质 | |
JP5758165B2 (ja) | 物品検出装置および静止人物検出装置 | |
JP2009147607A (ja) | 人物追尾装置 | |
US11074696B2 (en) | Image processing device, image processing method, and recording medium storing program | |
JP2000350187A (ja) | 画像監視装置 | |
US20230131717A1 (en) | Search processing device, search processing method, and computer program product | |
JP5253101B2 (ja) | オブジェクト追尾方法および画像処理装置 | |
JPH0965193A (ja) | 画像内動体追尾装置 | |
JP7569727B2 (ja) | 物体追跡システムおよび方法 | |
JP2002027480A (ja) | 動画像処理方法および動画像処理装置 | |
JPH09265538A (ja) | 自動追尾装置 | |
JP2023045296A (ja) | 画像処理装置及び画像処理方法、プログラム |