JP2001333422A

JP2001333422A - 監視装置

Info

Publication number: JP2001333422A
Application number: JP2000148730A
Authority: JP
Inventors: Hiroaki Inoue; 弘昭井上
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-05-19
Filing date: 2000-05-19
Publication date: 2001-11-30
Anticipated expiration: 2020-05-19
Also published as: JP4516665B2

Abstract

(57)【要約】【課題】魚眼レンズカメラを用いて複数の人物像を同
時に追尾し、分かり易い画面で表示することができる監
視装置を提供する。【解決手段】魚眼レンズカメラ１で撮影された魚眼映
像の歪みを補正して表示する監視装置において、魚眼映
像の移動領域を検出する移動領域検知手段４と、検出さ
れた移動領域の画素を移動物体ごとにグループ化してラ
ベリングするラベリング手段６と、ラベリングされた移
動物体の移動を追跡する移動領域追跡手段８と、魚眼映
像からラベリングされた移動物体の画像領域を切り出
し、この画像領域の画像データを補正する正像変換手段
10と、ラベリングされた移動物体の数に応じて表示を制
御する表示制御手段11とを設ける。魚眼レンズカメラに
映る複数の人物像を、正確に追尾して、多画面表示やシ
ーケンス表示により、分かり易く表示することができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、魚眼レンズカメラ
で撮影した画像に基づいて、監視域の人物像を追尾する
監視装置に関し、特に、複数の人物像を同時に追尾でき
るようにしたものである。

【０００２】

【従来の技術】従来、撮影方向が可変できる監視カメラ
を備えた監視装置では、移動している人物を画像中から
検出し、その人物の移動方向にカメラの向きを変えて人
物を追尾し、その画像をモニタに表示する装置が作られ
ている。しかし、この装置では、監視域に複数の人物が
同時に侵入した場合に、全ての侵入者を追尾することは
不可能である。

【０００３】一方、特開平１１−２６１８６８号公報に
は、魚眼レンズカメラに映る複数の人物像を個別に追尾
する装置が開示されている。この装置では、魚眼映像の
中から各人物像の領域を求め、各人物像の形状内の色情
報を記憶して、個々の像の色情報に基づいて、移動する
複数の人物像を個別に追尾し、各人物像の存在領域の魚
眼映像を補正して表示している。

【０００４】

【発明が解決しようとする課題】しかし、魚眼レンズカ
メラを用いる従来の監視装置では、個々の像の色情報に
基づいて各人物像を追尾しているため、複数の人物が同
色の衣服を付けていたり、薄暗いために色の識別ができ
ない状況の下では、各人物の追尾を正確に行うことが難
しい。また、身に付けている衣服の色が前と後ろで異な
る場合には、人物の移動に伴ってカメラに映る色情報が
変わり、違う人物と誤認してしまう虞れがある。

【０００５】また、監視装置では追尾している人物の映
像情報を迅速に処理し、その画像を分かり易くモニタに
表示する必要があるが、従来の装置では、追尾する人物
像が複数存在する場合に、その表示制御を円滑に行うた
めの検討が十分になされていない。

【０００６】本発明は、こうした従来の問題点を解決す
るものであり、魚眼レンズカメラを用いて複数の人物像
を同時に追尾し、分かり易い画面で表示することができ
る監視装置を提供することを目的としている。

【０００７】

【課題を解決するための手段】そこで、本発明では、魚
眼レンズカメラで撮影された魚眼映像の歪みを補正して
表示する監視装置において、魚眼映像の移動領域を検出
する移動領域検知手段と、検出された移動領域の画素を
移動物体ごとにグループ化してラベリングするラベリン
グ手段と、ラベリングされた移動物体の移動を追跡する
移動領域追跡手段と、魚眼映像からラベリングされた移
動物体の画像領域を切り出し、この画像領域の画像デー
タを補正する正像変換手段と、ラベリングされた移動物
体の数に応じて表示を制御する表示制御手段とを設けて
いる。

【０００８】そのため、魚眼レンズカメラに映る複数の
人物像を正確に追尾して、多画面表示やシーケンス表示
により、分かり易く表示することができる。

【０００９】

【発明の実施の形態】本発明の実施形態の監視装置は、
図１に示すように、魚眼レンズを有するカメラ１と、カ
メラ１の映像信号をデジタル画像データに変換するＡ／
Ｄ変換部２と、このデジタル画像データを格納するフレ
ームメモリ３と、画像データから動きを示す領域を抽出
する移動領域検知部４と、抽出された移動領域の画像デ
ータを２値化する２値化部５と、移動領域を移動物体ご
とのラベル番号を付けてグループ化するラベリング処理
部６と、各ラベル番号が付された移動領域の重心位置や
外接四角形の座標を算出する特徴量計算部７と、ラベリ
ングされた各移動領域の動きを追跡する移動領域追跡処
理部８と、ラベリングされた移動領域に従って魚眼画像
からの切出し領域を制御する切出し制御部９と、フレー
ムメモリ３に格納された画像データから切り出し領域の
画像データを読み出して歪みを補正する正像変換部10
と、正像変換された画像データの表示を制御する表示制
御部11と、表示する画像データを一時的に蓄積するフレ
ームメモリ12とを備えている。

【００１０】この監視装置では、図３（ａ）に示すよう
に、魚眼レンズカメラ１が、例えば建物の立ち入り禁止
エリアの天井などに設置される。魚眼レンズは、約１８
０度の画角を有し、広範囲の画像を映し出すことができ
る。但し、その魚眼画像は、図３（ｂ）に示すように、
樽型に歪んでいる。魚眼レンズカメラ１は、魚眼レンズ
が結像した監視域全体の像を映像信号に変換してＡ／Ｄ
変換部２に送り、Ａ／Ｄ変換部２は、この映像信号をデ
ジタル画像データに変換する。デジタル画像データは、
画像フレーム単位で移動領域検知部４とフレームメモリ
３とに出力され、フレームメモリ３では、画像フレーム
データを蓄積する。

【００１１】移動領域検知部４は、図２に示すように、
背景映像の画像データを取得して出力する背景映像出力
部24と、入力する画像データから背景映像の画像データ
を減算して移動領域の画像データを出力する減算部25
と、入力する画像データに（１−α）を乗じる乗算部21
と、背景映像出力部24から出力される背景映像の画像デ
ータにαを乗じる乗算部23と、乗算部21から出力される
画像データと乗算部23から出力される画像データとを加
算する加算部22とを具備している。

【００１２】この移動領域検知部４では、入力する画像
フレームデータに（１−α）を乗じ（但し、０≦α＜
１）、また、背景映像の画像フレームデータにαを乗じ
て、これらを加算部22で加算している。そのため、加算
部22からは、画像フレームデータの動きを示す部分が減
衰された背景映像の画像フレームデータが出力される。
背景映像出力部24は、加算部22の出力を取得すると、減
算部25に出力し、減算部25は、入力する画像フレームデ
ータから、背景映像出力部24が出力した背景映像の画像
フレームデータを減算して２値化部５に出力する。

【００１３】２値化部５は、移動領域検知部４から入力
された画像フレームの各画素のデータを閾値と比較し
て、各画素が動きを示す画素であるかどうかを識別し、
動きを示す画素を１、その他の画素を０に２値化して、
そのデータをラベリング処理部６に出力する。

【００１４】ラベリング処理部６は、２値化された画像
フレームデータから、一つの移動体の動きを表す、まと
まりを示す画素に対して同じラベル番号を付ける処理を
行う。複数の移動体が存在する場合には、それぞれの移
動体ごとのラベル番号が、その移動体の動きを表す画素
に対して付される。図４には、ラベリング処理された画
像フレームを例示している。

【００１５】特徴量計算部７は、ラベリング処理された
画像フレームをスキャンし、同じラベル番号（ｉ）が付
された画素の頻出回数（ｓi）によって、そのラベル番
号が付され移動体の面積を求め、また、同じラベル番号
が付された画素の頻出位置（ｘik，ｙik）から、そのラ
ベル番号（ｉ）が付され移動体の重心位置（Ｇi（Ｘi,
Ｙi））を算出する（但し、Ｘi＝Σｘik／ｓi、Ｙi＝Σ
ｙik／ｓi、Σはｋ＝１からｓiまで加算）。また、その
頻出位置の外接四角形の端点座標（Ｘminｉ（＝最小の
ｘik），Ｘmaxｉ（＝最大のｘik），Ｙminｉ（＝最小の
ｙik），Ｙmaxｉ（＝最大のｙik））を算出する。特徴
量計算部７は、画像フレームごとに、これらの算出を行
い、移動領域追跡処理部８に出力する。

【００１６】移動領域追跡処理部８は、特徴量計算部７
から画像フレームごとに入力する各移動体の重心位置及
び外接四角形のデータを用いて、フレーム間での移動体
の同定、即ち、ラベル番号の対応を調べ、移動体を追跡
する。

【００１７】そのために、移動領域追跡処理部８は、特
徴量計算部７が前の画像フレームから算出した各移動体
の重心位置及び外接四角形と、次の画像フレームから算
出した各移動体の重心位置とを比較し、次の画像フレー
ムから算出された重心位置が前の画像フレームから算出
された外接四角形の中に存在する場合には、同一移動体
が移動したものとして対応付けを行う。また、次の画像
フレームから算出された重心位置が前の画像フレームか
ら算出された外接四角形の中に存在していないときは、
新規に出現した移動体として扱う。また、前の画像フレ
ームから算出された外接四角形の中に、次の画像フレー
ムから算出された２つ以上の重心が存在しているとき
は、前の画像フレームから算出された重心位置に近い方
の重心を対応する移動体の重心とする。

【００１８】図５は、移動領域追跡処理部８が行う移動
体の対応付けの手順を示している。ここでは、移動体の
重心座標Ｇi（Ｘi（ｔ）,Ｙi（ｔ））及び外接四角形の
端点座標（Ｘminｉ（ｔ），Ｘmaxｉ（ｔ），Ｙminｉ
（ｔ），Ｙmaxｉ（ｔ））を時間ｔの関数で表してお
り、ｔ−１は１つ前の画像フレームから得られたデー
タ、ｔは現在の画像フレームから得られたデータを意味
している。

【００１９】ステップ１：現在の画像フレームのラベル
番号ｎを１に設定し、ステップ２：ｎ＝１に対応する移動体の重心Ｇn（Ｘn
（ｔ）,Ｙn（ｔ））に着目する。

【００２０】ステップ３：１つ前の画像フレームのラベ
ル番号ｍを１に設定し、ステップ４：１つ前の画像フレームのｍ＝１の移動体の
外接四角形の中に、着目する重心が含まれているかどう
かを、Ｘminm（ｔ−１）≦Ｘn（ｔ）≦Ｘmaxm（ｔ−１）Ｙminm（ｔ−１）≦Ｙn（ｔ）≦Ｙmaxm（ｔ−１）により調べる。含まれていないときは、ステップ５：ｍが１つ前の画像フレームのラベル番号の
最後かどうかを調べ、最後でないときは、ステップ６：ｍ＝ｍ＋１に設定して、ステップ４からの
手順を繰り返す。

【００２１】また、ステップ５でｍが最後であるとき
は、ステップ７：現在の画像フレームのラベル番号ｎの移動
体は新規に出現したものとして処理することにし、ステップ８：ｎが現在の画像フレームのラベル番号の最
後かどうかを調べ、最後でないときは、ステップ９：ｎ＝ｎ＋１に設定してステップ２からの手
順を繰り返す。

【００２２】また、ステップ８でｎが最後であるとき
は、ステップ10：処理を終了する。

【００２３】また、ステップ４において、含まれている
ときは、ステップ11：ラベル番号ｍに対する対応付けが既に存在
しているかどうかを調べ、存在しないときは、ステップ12：ラベル番号ｍとラベル番号ｎとを対応付け
て、ステップ５に移行する。

【００２４】また、ステップ11において、存在するとき
は、ステップ13：ラベル番号ｍの移動体の重心Ｇm（Ｘm（ｔ
−１）,Ｙm（ｔ−１））からラベル番号ｎの移動体の重
心Ｇn（Ｘn（ｔ）,Ｙn（ｔ））までの距離と、ラベル番
号ｍの移動体の重心から既に対応付けられた移動体の重
心までの距離とを比較し、ラベル番号ｎの移動体の重心
Ｇn（Ｘn（ｔ）,Ｙn（ｔ））までの距離の方が短けれ
ば、ステップ14：前の対応付けを破棄して、新たにラベル番
号ｍとラベル番号ｎとを対応付けて、ステップ５に移行
する。また、ステップ13において、ラベル番号ｎの移動
体の重心Ｇn（Ｘn（ｔ）,Ｙn（ｔ））までの距離の方が
長ければ、ステップ５に移行する。

【００２５】切り出し制御部９は、図６に示すように、ステップ21：ラベリング数が０の場合は、何も行わな
い。

【００２６】ステップ22：ラベリング数が１の場合は、
表示制御部11に１画面表示を指令し、正像変換部10に
は、そのラベル番号の移動体の外接四角形を含む切り出
し領域を伝えて、魚眼画像の正像変換を指示する。

【００２７】ステップ23：ラベリング数が２〜４の場合
は、ステップ24：ラベル番号と表示画面領域との対応付けが
あるかどうかを調べ、対応付けが無い場合は、ステップ25：ラベル番号を若い順に４画面のａ、ｂ、
ｃ、ｄの表示位置に対応付けて、その４画面表示を表示
制御部11に指令し、正像変換部10には、各ラベル番号の
移動体の外接四角形を含む切り出し領域を伝えて、魚眼
画像の正像変換を指示する。

【００２８】また、ステップ24において、ラベル番号と
表示画面領域との対応付けがあるときは、ステップ26：それに従ってラベル番号と表示画面領域と
を対応付け、空いている表示画面領域にはラベル番号を
若い順に対応付ける。また、ラベル番号が９画面の表示
領域のｅ〜ｊに対応付けられているときは、４画面の
ａ、ｂ、ｃ、ｄの空いている表示画面領域に対応付け
る。そして、その４画面表示を表示制御部11に指令し、
正像変換部10には、各ラベル番号の移動体の外接四角形
を含む切り出し領域を伝えて、魚眼画像の正像変換を指
示する。

【００２９】また、ステップ23において、ラベリング数
が４を超える場合は、９画面での表示を制御する。この
場合も、４画面表示の場合と同様に、ステップ27：ラベル番号と表示画面領域との対応付けが
あるかどうかを調べ、対応付けが無い場合は、ステップ28：ラベル番号を若い順に９画面のａ、ｂ、
ｃ、‥、ｊの表示位置に対応付け、その９画面表示を表
示制御部11に指令し、正像変換部10には、各ラベル番号
の移動体の外接四角形を含む切り出し領域を伝えて、魚
眼画像の正像変換を指示する。

【００３０】また、ステップ28において、ラベル番号と
表示画面領域との対応付けがあるときは、ステップ29：それに従ってラベル番号と表示画面領域と
を対応付け、空いている表示画面領域にはラベル番号を
若い順に対応付ける。そして、その９画面表示を表示制
御部11に指令し、正像変換部10には、各ラベル番号の移
動体の外接四角形を含む切り出し領域を伝えて、魚眼画
像の正像変換を指示する。

【００３１】また、切り出し制御部９は、表示制御部11
に対して、魚眼画像中の各切り出し位置の情報、あるい
は、各ラベル番号の移動体の重心位置の情報を伝える。

【００３２】正像変換部10は、切り出し制御部９から指
定された切り出し領域の画像データをフレームメモリ３
から読み出し、歪んでいる魚眼画像を幾何学変換処理し
て正像に戻し、表示制御部11に出力する。

【００３３】こうして、図９に示すように、魚眼画像に
複数の侵入者が映る場合、それぞれの侵入者の画像デー
タが切り出され、正像に変換される。

【００３４】表示制御部11は、正像変換部10から入力す
る画像データをフレームメモリ12に一時蓄積し、切り出
し制御部９から指示された画面表示となるように読み出
してモニタ（不図示）に表示する。

【００３５】この時、表示制御部11は、切り出し制御部
９から送られた切り出し位置情報、あるいは各移動体の
重心位置情報に基づいて、画面中に、魚眼映像中の各移
動体の重心位置を表示させる。

【００３６】この重心位置は、魚眼映像から切り出した
各移動体の位置を操作者に知らせることができ、操作者
は、この情報から、移動体が監視域のどの位置に居るの
かを認識することができる。

【００３７】また、図８に示すように、表示制御部11
が、切り出し制御部９から伝えられた切り出し位置情報
や重心位置情報を、予め保持するテーブルに基づいて、
方位や場所（入口、出口、ロビー等）の情報に変換して
表示するようにしても良い。

【００３８】このように、この監視装置では、複数の侵
入者が同時に監視域に侵入した場合でも、各侵入者を正
確に追尾してモニタに個別に表示することができる。

【００３９】また、図１０に示すように、複数の正像変
換部10を持つように構成し、切り出し制御部９から各正
像変換部10に、それぞれ異なる切り出し領域を指定し
て、正像変換を並行して行わせるようにすれば、４画面
表示の場合でも、１画面表示と同じ処理速度で表示する
ことが可能になる。

【００４０】また、ここでは、複数の侵入者を多画面表
示する場合について説明したが、表示制御部11が、一定
時間ごとに交互に侵入者をシーケンス表示するように表
示制御することも可能である。

【００４１】

【発明の効果】以上の説明から明らかなように、本発明
の監視装置は、監視域に複数の侵入者が有った場合で
も、それぞれの侵入者を正確に追尾して、モニタに分か
り易く表示することができる。

【００４２】そのため、１台のカメラを使用するだけで
検知漏れが無い監視システムを構築することができる。

【図面の簡単な説明】

【図１】本発明の実施形態における監視装置の構成を示
すブロック図、

【図２】実施形態の移動領域検知部の構成を示すブロッ
ク図、

【図３】（ａ）実施形態の魚眼レンズカメラの設置状態
を示す図、（ｂ）魚眼カメラの映像を示す図、

【図４】実施形態のラベリング処理された画像フレーム
を示す図、

【図５】実施形態の移動領域追跡処理部の動作を示すフ
ロー図、

【図６】実施形態の切り出し制御部の動作を示すフロー
図、

【図７】（ａ）実施形態の監視装置で表示される１画面
の例、（ｂ）実施形態の監視装置で表示される４画面の
例、

【図８】（ａ）実施形態の監視装置で表示される方位情
報を含む画面の例、（ｂ）実施形態の監視装置で表示さ
れる場所情報を含む画面の例、

【図９】実施形態の正像変換部で正像に変換される魚眼
映像の複数領域を示す図、

【図１０】実施形態の正像変換部を複数設けた監視装置
を示すブロック図である。

【符号の説明】

１魚眼レンズカメラ２Ａ／Ｄ変換部３フレームメモリ４移動領域検知部５２値化部６ラベリング処理部７特徴量計算部８移動領域追跡処理部９切出し制御部 10 正像変換部 11 表示制御部 12 フレームメモリ 21 （１−α）乗算部 22 加算部 23 α乗算部 24 背景映像出力部 25 減算部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 5/262 Ｈ０４Ｎ 5/262 Ｆターム(参考） 5B057 AA19 BA15 CD11 CE09 CH04 CH18 DA07 DA08 DA16 DB02 DC08 DC14 5C023 AA05 AA10 AA21 AA37 BA01 CA01 DA04 5C054 AA01 FC12 FC13 GA04 HA18 5L096 BA02 CA04 DA04 EA07 FA59 FA60 FA67 FA69 GA34 HA03 HA05 LA13

Claims

【特許請求の範囲】

【請求項１】魚眼レンズカメラで撮影された魚眼映像
の歪みを補正して表示する監視装置において、魚眼映像の移動領域を検出する移動領域検知手段と、検出された前記移動領域の画素を移動物体ごとにグルー
プ化してラベリングするラベリング手段と、ラベリングされた移動物体の移動を追跡する移動領域追
跡手段と、魚眼映像からラベリングされた前記移動物体の画像領域
を切り出し、前記画像領域の画像データを補正する正像
変換手段と、ラベリングされた前記移動物体の数に応じて表示画面を
制御する表示制御手段とを備えることを特徴とする監視
装置。
【請求項２】前記表示制御手段は、ラベリングされた
前記移動物体の数が複数の場合に、多画面表示により各
移動物体を個別に表示することを特徴とする請求項１に
記載の監視装置。
【請求項３】前記表示制御手段は、ラベリングされた
前記移動物体の数が複数の場合に、所定時間ごとに、表
示する移動物体を切り換えてシーケンス表示することを
特徴とする請求項１に記載の監視装置。
【請求項４】前記表示制御手段は、前記移動物体を表
示する画像に、前記移動物体の位置情報を併せて表示す
ることを特徴とする請求項２または３に記載の監視装
置。
【請求項５】前記位置情報として、前記移動物体の魚
眼映像中の位置を表示することを特徴とする請求項４に
記載の監視装置。
【請求項６】前記位置情報として、方位を表示するこ
とを特徴とする請求項４に記載の監視装置。
【請求項７】前記位置情報として、建物内または屋外
の位置を特定する名称を表示することを特徴とする請求
項４に記載の監視装置。
【請求項８】前記正像変換手段を複数具備し、複数の
前記正像変換手段が、異なる前記移動物体の画像領域の
画像データを並行して補正することを特徴とする請求項
１に記載の監視装置。