JP2003348569A

JP2003348569A - 監視カメラシステム

Info

Publication number: JP2003348569A
Application number: JP2002154418A
Authority: JP
Inventors: Yoshimasa Takahashi; 好正高橋; Hiroyuki Morikawa; 宏之森川; Takashi Ichijo; 隆一条
Original assignee: Toshiba Lighting and Technology Corp
Current assignee: Toshiba Lighting and Technology Corp
Priority date: 2002-05-28
Filing date: 2002-05-28
Publication date: 2003-12-05

Abstract

(57)【要約】【課題】監視領域内に適宜の数のカメラを配置し、監視
領域内に入ってくる人、車両などの移動物体を検出する
際に、別にセンサを設けることなくカメラで撮影した画
像を解析処理する手段を用いて、画像処理により移動物
体を検出して記録動作を行なうことができる監視カメラ
システムを提供すること。【解決手段】監視領域に少なくとも１つのカメラ1-1,1-
2,・・・1-nを配置し、移動物体検出手段２１にて撮影画像
から画像処理により移動物体を検出する。そして、移動
物体を検出した結果に基づいて、記録手段７２の記録動
作のオン，オフを制御する。移動物体を検出するために
別にセンサを用いる必要がなく、しかも画像処理及び演
算により移動物体に関する各種の情報を取得することも
可能である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理により
人、車両などの監視対象の移動物体を検出して記録動作
を行なう監視カメラシステムに関する。

【０００２】

【従来の技術】金融機関や商業施設、イベント会場、駐
車場などでは、侵入者の発見や利用者の状況などを把握
するため、カメラなどの画像入力装置を用いた監視カメ
ラ装置が用いられている。

【０００３】従来のこの種監視カメラ装置は、監視者が
撮影された監視画像を見ながら監視領域における人、車
両などの監視対象の移動物体を監視する態様のものが多
い。このため、図６に示すように、監視領域を複数の監
視カメラ1-1,1-2,・・・1-nを用いて撮影し、画像選択手段
１１を介して個々の監視カメラによる監視画像を切り換
えて表示手段１２に表示を行なったり動画像記録手段１
３に記録したりするように構成されている。

【０００４】一方、監視領域に侵入者があった場合に、
特定の機器例えば記録装置を動作させるスイッチは、手
動のものが最も基本であるが、センサを用いて侵入など
を検知することによって自動的に記録装置などをオン，
オフさせることも行われている。

【０００５】また、監視領域の音声をカメラに内蔵した
マイクで集音し、スピーカから出力し、例えば小売業の
売場のバックヤードにいる人などにレジスタ周辺の客の
存在を知らせることも行われている。

【０００６】

【発明が解決しようとする課題】しかしながら、従来の
監視カメラ装置においては、対象空間（監視領域）にお
ける移動物体（例えば、人間や自動車など）を人が画像
を見ながら監視することが多く、監視領域が広い場合な
どは正確な監視（追跡など）が出来ない。

【０００７】また、特定の機器（例えば記録装置）を手
動ではなく、自動でコントロールする場合、赤外線や人
感センサを利用することが多くなっているが、センサに
よって監視エリア全体の領域を検知するため、検知した
くないエリアを設定することは難しい。エリアを制限す
る場合は、センサ部にマスキングなどをして利用してい
る、という課題がある。

【０００８】さらに、集音した音声は記録されるだけ
で、客のコメントなどを集めてマーケティングに活かす
など二次的な利用はされていないのが現状である。

【０００９】本発明は上記の課題に鑑み、監視領域内に
適宜の数のカメラを配置し、監視領域内に入ってくる
人、車両などの移動物体を検出する際に、別にセンサを
設けることなくカメラで撮影した画像を解析処理する手
段を用いて、画像処理により移動物体を検出して記録動
作を行なうことができる監視カメラシステムを提供する
ことを目的とするものである。

【００１０】

【課題を解決するための手段】請求項１の発明による監
視カメラシステムは、少なくとも１つのエリアで構成さ
れた監視領域を、各エリアごとに少なくとも１つのカメ
ラを配置して画像及び音声の少なくとも一方を取得する
動画像入力手段と；前記動画像入力手段の撮影画像から
移動物体を検出する移動物体検出手段と；前記撮影画像
及び入力音声の少なくとも一方を記録可能にする記録手
段と；前記移動物体検出手段の検出結果に基づいて前記
記録手段の記録動作をオン，オフする制御手段と；を具
備したものである。

【００１１】上記の構成で、動画像入力手段は、ビデオ
カメラなどの動画像からなる監視画像を撮影できるもの
を用いるのがよい。また、動画像入力手段は、監視領域
の大きさなど所要により、各エリアごとにカメラを１台
または複数台を適宜用いることができる。さらに、カメ
ラでの撮影に基づく監視画像の処理は、ディジタル処理
およびアナログ処理のいずれで行なってもよいが、ディ
ジタル処理の方が画像の切り出しなど撮像の加工が容易
である。さらにまた、監視画像は、カラーおよびモノク
ロームのいずれであってもよい。

【００１２】移動物体検出手段は、カメラの撮影に基づ
く監視画像の中の移動物体を自動的に検出する手段であ
る。移動物体の検出は、動画像を画像処理して行なう。
例えば、移動物体として人を検出しようとする場合、複
数画像フレーム間の差分処理により静止体と移動物体と
の識別を行なう。監視対象の移動物体とその他の移動物
体とを識別するには、監視対象の移動物体の特微量を予
め記憶させておき、その特微量を読み出して、検出デー
タ中の特徴データとを比較すればよい。また、監視対象
の移動物体を検出したときには、さらに当該移動物体の
向きやどのような動作をしているかを動作の変化から判
定して、移動物体が何であるかを判定する。このように
移動物体の検出のほかに、移動物体の判定を行えるよう
にしてもよい。

【００１３】記録手段としては、既知の各種記憶手段を
用いることができる。例えば、ハードディスク（Ｈ
Ｄ）、ディジタルビデオディスク（ＤＶＤ）、メモリカ
ード、光磁気ディスク（ＭＯ）、ビデオテープなどの記
憶容量の大きな記憶手段が適している。記録手段に画像
又は音声を記録する際には、時刻データとともに記録す
ることで、記録したデータの利用価値をさらに増すこと
もできる。

【００１４】本発明においては、監視領域に少なくとも
１つのカメラを配置し、撮影画像から移動物体を検出す
る。そして、検出した結果に基づいて、記録を制御する
手段が記録手段の動作をオン，オフする。つまり、移動
物体を検出した時に、記録手段は記録動作を開始し、少
なくとも移動物体を検出している期間は撮影画像及び音
声の一方或いは両方を記録することができる。これによ
り、移動物体の侵入を、別にセンサを設けて検知するこ
となく、差分処理などの画像処理により検出でき、シス
テム全体としてシンプルになる利点を有する。また、監
視カメラとしては、監視領域に移動物体が入ってきた時
にのみ、少なくともそれ以降の期間の移動物体の撮影画
像及び入力音声の少なくとも一方を取得することがで
き、記録手段の限られた記録容量を有効に利用すること
ができる。

【００１５】請求項２の発明は、請求項１の監視カメラ
システムにおいて、音声を記録可能に構成されたものに
あっては、音声を文字データに変換する手段を備えたこ
とを特徴とする。

【００１６】ここで、文字データとは、コンピュータ上
のデータとなるファイル形式、例えばテキスト形式（TX
T）などに変換されたデータの意である。

【００１７】本発明においては、取得した音声を文字デ
ータに変換するので、音声データを文字データとして保
存したり表示したりして利用することが可能となる。

【００１８】請求項３の発明は、請求項２の監視カメラ
システムにおいて、前記の変換された文字データの中か
ら、特定の文字データを検索する手段をさらに備え、検
索した文字データを少なくとも含む所定期間のデータを
前記記録手段に記録するように構成されていることを特
徴とする。

【００１９】ここで、特定の文字データを検索する手段
とは、予め設定した特定のキーワードを前記変換した文
字データの中から検索することを意味している。検索し
た文字データを少なくとも含む所定期間のデータを記録
手段に記録する際には、時刻データとともに記録するこ
とで、検索記録したデータの利用価値をさらに増すこと
ができる。

【００２０】この発明においては、変換された文字デー
タ中から、ユーザが予めキーワードを設定して検索を行
い、必要なデータを含む必要部分のみを取り出して記録
手段に記録することが可能となり、記録手段の限られた
記録容量を有効に利用することができる。

【００２１】請求項４の発明は、請求項１記載の監視カ
メラシステムにおいて、前記動画像入力手段にて入力さ
れた画像及び音声の少なくとも一方を一時的に保管して
おくバッファ手段を備え、このバッファ手段に蓄えた画
像及び音声の少なくとも一方を用いて、前記制御手段に
て前記記録手段の動作をオンした時にその前後の所定期
間に亘る画像及び音声の少なくとも一方を前記記録手段
に記録することを特徴とする。

【００２２】ここで、バッファ手段は、例えば画像用，
音声用それの専用バッファを有して構成されている。バ
ッファ手段には、ＤＲＡＭ等の半導体メモリが使用され
る。

【００２３】この発明においては、移動物体が検出され
ない時は、撮影画像及び入力音声はそれぞれ専用のバッ
ファに所定量ずつ更新されながら一定量（例えば３０秒
分）記憶される。そして、移動物体が検出された時は、
前記バッファに記憶されている画像及び音声のデータ
が、記録手段をオンにした時の所定期間前（例えば３０
秒前）から呼び出されて記録手段に記録されると共に記
録オン時以降に撮影及び入力される移動物体の画像及び
音声が記録手段に記録されることになる。つまり、記録
手段には、記録開始の時間を挟んで予め設定していた時
間或いは移動物体の検出が無くなった時から予め設定し
た時間、の画像と音声が合わせて記録手段に記録され
る。

【００２４】請求項５の発明は、請求項１〜３のいずれ
か１つの監視カメラシステムにおいて、前記カメラは、
監視領域をカバーするためにその複数が用いられ、各カ
メラ個々の撮影画像に対して監視領域の中の座標が対応
付けられていることを特徴とする。

【００２５】この発明においては、複数のカメラを用い
て所定の監視領域を監視する場合に好適なカメラ配置を
規定している。すなわち、監視領域が広い場合、１台の
カメラでは監視領域の全体を明瞭に撮影することが困難
になるので、複数のカメラによって監視領域のおよそ異
なる場所を分担して撮影する。その場合に、個々のカメ
ラの撮影した監視画像を単に個々の画像として並列的に
表示するのでは監視領域のどの部分の監視画像であるか
の把握が困難になるが、本発明においては、カメラ１台
ごとにその撮影画像に対して監視領域全体の中の座標を
対応付けられている。つまり、カメラの撮影した画像が
監視領域のどの部分を表示しているか正確に把握するこ
とができ、検知エリアの特定が難しい赤外線や人感セン
サーと違い、エリアの設定がカメラで撮像した画像上の
任意の広さの領域で設定できるため、限定した領域に対
する記録動作の設定が可能である。

【００２６】

【発明の実施の形態】発明の実施の形態について図面を
参照して説明する。図１は本発明の第１の実施の形態の
監視カメラシステムのブロック図を示している。

【００２７】図１の監視カメラシステムは、複数の監視
カメラ1-1,1-2,・・・1-nで構成される動画像入力手段１
と、移動物体検出手段２と、記録制御手段７１と記録手
段７２を有して成る記録処理手段と、を具備して構成さ
れている。さらに、本監視カメラシステムと連動して使
用される特定機器８２の制御手段８１と該特定機器８２
とを有して成る特定機器処理手段が、接続可能となって
いる。

【００２８】動画像入力手段１は、複数の監視用ビデオ
カメラ1-1,1-2,・・・1-nから成り、各ビデオカメラは監視
領域の画像を撮影する撮影素子だけでなく、撮影対象の
音声をも取得できるようにマイクを備えている。

【００２９】動画像入力手段１を構成する複数の監視用
ビデオカメラ（以下、単にカメラ）1-1,1-2,・・・1-nは、
監視領域のほぼ全体を分担して撮影可能なように設置さ
れる。具体的には、監視領域を複数のエリアで構成し、
各エリアごとに少なくとも１つのカメラを配置して撮影
を行う。なお、２台以上のカメラで監視できるエリアが
一部重複するようにカメラを配置することにより、一方
からのカメラでは見えにくい陳列棚による陰や人同士に
よる陰になっても、もう一方のカメラで陰の人物を撮影
できるように配置することが好ましい。

【００３０】そして、各カメラ個々の撮影画像に対して
監視領域の中の座標が対応付けられていて、それらの撮
像を指定された座標に基づき合成することで同じ物体を
重複することなくしかも他の物体を明確に識別して、監
視領域のほぼ全体をカバーするように一つの監視画像ま
たは複数に並置された監視画像を形成して、図示しない
１つの表示手段（図６の符号１２に相当）上に表示す
る。つまり、各カメラ1-1,1-2,・・・1-nの監視画像は図示
しない画像選択手段（図６の符号１１に相当）にて特定
の１つのカメラからの監視画像を選択して出力し１つの
表示手段（図６の符号１２に相当）上に表示することも
できるし、或いは複数のカメラからの監視画像をそれぞ
れ図示しない圧縮処理手段にて時間軸上で圧縮処理しか
つ時間的に順次に選択して並べるように合成し、１つの
表示手段（図６の符号１２に相当）上に多画面に分割し
て表示することもできる。

【００３１】移動物体検出手段２１は、動画像入力手段
１からの入力に基づいて作成された監視画像の中から移
動物体を検出する手段である。移動物体検出手段２１
は、例えば少なくとも１フレーム分の画像を記憶可能な
メモリを有していて、１フレーム前後の画像データの変
化（差分）を検出することで移動物体の存在を検出でき
るようになっている。

【００３２】つまり、移動物体検出手段２１において監
視対象である移動物体を検出するには、例えば差分法に
より現在の１フレーム画像データと現在画像より１フレ
ーム前（例えば１秒間に３０フレーム撮影可能である場
合は1/30秒前）の画像データとの差分を取ることで、そ
の差分データの大きさにより隣接するフレーム間の画像
データに変化があること即ち差分データが所定値以上で
あれば移動物体が存在することを検出することができ
る。なお、移動物体検出手段２１は、識別した移動物体
の中から監視対象の移動物体例えば人を判定する手段を
備えていてもよい。

【００３３】記録制御手段７１は、移動物体検出手段２
１の検出結果に基づいて記録手段７２の記録動作をオ
ン，オフする制御を行う。つまり、移動物体が検出され
ない場合は記録手段７２の動作をオフにし、移動物体が
検出された場合は記録手段７２の動作をオンにする。

【００３４】記録手段７２は、例えばハードディスク
（ＨＤ）などの大容量の記憶手段を用いて構成され、画
像記録制御を受けて記録を開始した後の撮影画像及び入
力音声の少なくとも一方を記録する機能を有している。

【００３５】特定機器制御手段８１は、移動物体検出手
段２１の検出結果に基づいて、本監視カメラシステムと
連動して使用（動作）することが有用な特定機器８２の
起動（オン，オフ）を制御するものである。この特定機
器制御手段８１は動体検知に基づいた制御の指令を発す
るものであればよいので、前記記録制御手段７１と兼用
することもできる。

【００３６】特定機器８２としては、警報装置、消火装
置、音声発生装置、音声記録装置、照明装置などがあ
る。

【００３７】例えば、動体検出に基づいて警報装置を自
動的に鳴らすように構成すれば、夜間等の不法侵入者の
防止に有効となる。また、コンビニエンスストアなどの
商店において、店内における動体進入の検出に基づいて
音声発生装置で「いらっしゃいませ」などの音声を発す
るように構成すれば、集客などに有用な効果を得ること
ができる。さらに、ビル内の普段余り使われていないエ
リア（例えば倉庫に使っているエリア）における移動動
体検出に基づいて照明装置を自動点灯するように構成す
れば、そのエリアで保管品を探す時にのみ照明が点灯さ
れて経済的である。或いは、住宅の玄関口付近のエリア
における移動動体検出に基づいて玄関口付近の照明装置
を自動点灯し、消灯は移動物体が検出されなくなってか
ら所定時間経過した後に自動消灯するように構成すれ
ば、お客が帰る際に点灯し、客が去った後も短時間点灯
していることでお客に対して失礼にならないなどの配慮
を与えることができる。また、記録制御手段７１及び記
録手段７２を画像記録装置でのみ構成されているとした
場合に、特定機器８２として音声記録装置を使用すれ
ば、監視領域内の動体を検知し、音声記録装置を動作さ
せて移動体検知後の音声を記録することができる。さら
にまた、発火性の物質を保管している監視領域内を撮影
し、その撮影画像のデータ変化（特に赤色成分の変化）
を検出し、消火装置を起動させれば、早期に火災の発生
を防ぐこともできる。

【００３８】以上の第１の実施の形態の構成によれば、
監視領域（監視画像）内の任意のエリアを指定し、その
指定エリアの動体を画像処理により検知できるので、こ
の検知結果が任意に設定した制御条件の範囲（例えばフ
レーム間の差分データが所定値以上）であれば、記録制
御手段７１が画像の記録制御を行い、記録手段７２に撮
影画像及び入力音声の少なくとも一方を記録することが
できる。

【００３９】図２は本発明の第２の実施の形態の監視カ
メラシステムのブロック図を示している。図２の監視カ
メラシステムは、複数の監視カメラ1-1,1-2,・・・1-nで構
成される動画像入力手段１と、移動物体検出手段２１
と、記録制御手段７１と記録手段７２とバッファ手段７
３を有して成る記録処理手段７と、文字データ変換手段
９１と文字データ検索手段９２を有して成る音声処理手
段９と、を具備して構成されている。さらに、本監視カ
メラシステムと連動して使用される特定機器８２の制御
手段８１と該特定機器８２とを有して成る特定機器処理
手段が、接続可能となっている。

【００４０】動画像入力手段１は、複数の監視用ビデオ
カメラ1-1,1-2,・・・1-nから成り、各ビデオカメラは監視
領域の画像を撮影する撮影素子だけでなく、撮影対象の
音声をも取得できるようにマイクを備えている。

【００４１】動画像入力手段１を構成する複数の監視用
ビデオカメラ1-1,1-2,・・・1-nは、監視領域のほぼ全体を
分担して撮影可能なように設置される。具体的には、監
視領域を複数のエリアで構成し、各エリアごとに少なく
とも１つのカメラを配置して撮影を行う。なお、２台以
上のカメラで監視できるエリアが一部重複するようにカ
メラを配置することにより、一方からのカメラでは見え
にくい陳列棚による陰や人同士による陰になっても、も
う一方のカメラで陰の人物を撮影できるように配置する
ことが好ましい。

【００４２】そして、各カメラ個々の撮影画像に対して
監視領域の中の座標が対応付けられていて、それらの撮
像を指定された座標に基づき合成することで同じ物体を
重複することなくしかも他の物体を明確に識別して、監
視領域のほぼ全体をカバーするように一つの監視画像ま
たは複数に並置された監視画像を形成して、図示しない
１つの表示手段（図６の符号１２に相当）上に表示す
る。つまり、各カメラ1-1,1-2,・・・1-nの監視画像は図示
しない画像選択手段（図６の符号１１に相当）にて特定
の１つのカメラからの監視画像を選択して出力し１つの
表示手段（図６の符号１２に相当）上に表示することも
できるし、或いは複数のカメラからの監視画像を時間的
に順次に選択的に合成しかつ図示しない圧縮処理手段に
て圧縮処理して出力し、１つの表示手段（図６の符号１
２に相当）上に多画面に分割して表示することもでき
る。

【００４３】移動物体検出手段２１は、動画像入力手段
１からの入力に基づいて作成された監視画像の中から移
動物体を検出する手段である。移動物体検出手段２１
は、例えば少なくとも１フレーム分の画像を記憶可能な
メモリを有していて、１フレーム前後の画像データの変
化（差分）を検出することで移動物体の存在を検出でき
るようになっている。

【００４４】つまり、移動物体検出手段２１において監
視対象である移動物体を検出するには、例えば差分法に
より現在の１フレーム画像データと現在画像より１フレ
ーム前（例えば１秒間に３０フレーム撮影可能である場
合は1/30秒前）の画像データとの差分を取ることで、そ
の差分データの大きさにより隣接するフレーム間の画像
データに変化があること即ち差分データが所定値以上で
あれば移動物体が存在することを検出することができ
る。なお、移動物体検出手段２１は、識別した移動物体
の中から監視対象の移動物体例えば人を判定する手段を
備えていてもよい。

【００４５】記録制御手段７１は、移動物体検出手段２
１の検出結果に基づいて記録手段７２の記録動作をオ
ン，オフする制御を行う一方、後述のバッファ手段７３
の読み出しを制御する機能を有している。つまり、移動
物体が検出されない場合は記録手段７２の動作をオフに
し、移動物体が検出された場合は記録手段７２の動作を
オンにすると同時に、バッファ手段７３に既に記憶され
ている内容を読み出して記録手段７２に書き込んだ後、
撮影中の画像及び音声の少なくとも一方または両方を記
録手段７２に書き込むよう制御する。そして、記録制御
手段７１は、移動物体が検出されて記録動作を行ってい
る時に移動物体が検出されなくなった時にはその時から
所定時間後（例えば１５秒とか１分後）に記録動作をオ
フにするように制御する。これは、記録制御手段７１に
おける制御プログラムを移動物体検出後から、所定時間
後（例えば１５秒とか１分後）に記録動作をオフにする
ようにプログラムすることによって可能である。つま
り、移動物体が検出されている間は記録手段７２がオフ
されることはなく、移動物体が検出されなくなった時か
ら所定時間後（例えば１５秒とか１分後）に記録動作が
オフにされることになる。

【００４６】記録手段７２は、例えばハードディスク
（ＨＤ）などの大容量の記憶手段を用いて構成され、画
像記録制御を受けて記録を開始した後の撮影画像及び入
力音声の少なくとも一方を記録する機能を有している。
なお、記録手段７２は画像の記録手段と音声の記録手段
から構成されるが、音声の記録手段も、画像の記録手段
と同様な類似の機能を持っている。

【００４７】バッファ手段７３は、例えば３０秒分の撮
影画像を記憶可能（例えば１秒間に３０フレーム撮影可
能である場合は９００フレーム記憶可能）な容量を有し
たＤＲＡＭなどの記憶手段と入力音声を記憶可能なＤＲ
ＡＭなどの記憶手段と用いて構成され、撮影画像及び入
力音声の少なくとも一方または両方を一時的に保管する
機能を有している。動画像入力手段１からの撮影画像及
び入力音声はそれぞれ専用のバッファに所定量ずつ（例
えば１秒分ずつ）更新されながら一定量（例えば３０秒
分）記憶される。バッファ内のデータの更新は古いデー
タから所定量ずつ（例えば１秒分ずつ）書き替えて行わ
れる。

【００４８】換言すれば、バッファ手段７３は、画像記
録制御開始時点（即ち移動体検出時点）より以前の画像
及び音声を一時的（例えば撮像時から30秒前まで：この
時間は任意に設定可能である）に保管しておく部分で、
これに記録された画像及び音声を記録制御開始時点に呼
び出して記録手段７２に即座に記録することで、記録手
段７２には移動体検出をきっかけとして記録制御開始前
の画像と記録制御開始後の撮影画像が音声と共に記録さ
れることになる。

【００４９】文字データ変換手段９１は、記録手段７２
に記録されている音声データをテキスト形式（TXT）な
どのコンピュータ上の文字データに変換するものであ
る。

【００５０】文字データ検索手段９２は、前記の変換さ
れた文字データの中から、特定の文字データをキーワー
ド検索する手段である。そして、検索した文字データを
少なくとも含む前後の所定期間の文字データを記録手段
７２に記録するように構成されている。

【００５１】つまり、変換された文字データを使い「キ
ーワード」を検索し、キーワードが検出された場合、そ
のキーワードが生じた時刻を割り出し、この時刻前後の
特定時間を画像、音声あるいは文字データを合わせて記
録する監視カメラシステムを構成している。

【００５２】図３は図２の実施の形態における記録動作
を示している。記録手段７２がハードディスク（ＨＤ）
で構成され、バッファ手段７３が３０秒分のフレームデ
ータを格納可能であるとし、記録動作をオフにする時点
は移動物体の無検出後１５秒であるとして説明する。横
軸は時間（ｔ）を示しており、移動物体が検出された
時、その時点Ａでそれより３０秒前までの画像データが
バッファ手段７３から読み出されてハードディスク（Ｈ
Ｄ）で構成される記録手段７２に瞬時に記録され、その
後の撮影画像データがハードディスク（ＨＤ）に記録さ
れていく。そして、時点Ｂで移動物体が検出されなくな
り、その動体検出無し状態が１５秒続いた時点Ｃで、ハ
ードディスク（ＨＤ）への記録動作がオフにされる。そ
の結果、移動物体が検出された時に、その３０秒前まで
の画像データとそれに続けた時点Ａ〜Ｃの期間の撮影画
像データとが記録手段７２に記録されることになる。な
お、図３では、画像データの記録動作について説明して
いるが、音声データの記録動作についても移動物体の検
出時点で、それ以前のバッファ記録されている音声デー
タと動体検出後の入力音声が、撮影画像データと同様に
連続して記録されることになる。

【００５３】図４は上記記録動作をフレーム画像の変化
について説明した図である。図４(a)〜(b)は監視領域内
で移動物体が検出される前のフレーム画像を、図４(c)
〜(e)は監視領域内に移動物体が存在している状態での
フレーム画像を、図４(f)〜(g)は監視領域内に移動物体
が存在しない状態でのフレーム画像を、それぞれ示して
いる。各フレーム画像の下部にある「Time」はフレーム画
像を撮影した時刻を示している。画像データ及び音声デ
ータの記録においては、ビデオカメラなどの内部にある
図示しない時計手段にて計時している撮影時刻が時刻デ
ータとして同時に記録されるようになっている。フレー
ム画像の経過に対応して、例えば1/30秒経過するごとの
時刻が記録される。

【００５４】図４(a)〜(g)の各フレーム画像は例えば1/
30秒間隔となっており、図４(c)のように移動物体とし
て人物が監視領域内に進入してきた場合、図４(c)の時
点で図４(b)のフレーム画像と図４(c)のフレーム画像と
のフレーム間の差分により、画像データに変化が検出さ
れる。そして、その検出結果に基づいて、記録制御手段
７１は記録手段７２をオンにすると同時に、移動体の検
出時点より前の図４(a)〜(b)のフレーム画像をバッファ
手段７３より呼び出して記録手段７２に記録し、さらに
移動物体がフレーム間の差分として検出されている図４
(c)〜(f)の期間における各フレーム画像を記録し続け
る。そして、図４(g)の時点で図４(f)のフレーム画像と
図４(g)のフレーム画像とのフレーム間の差分により、
画像データに変化無しが検出されると、このときから所
定時間（例えば15秒）は撮影画像の記録を続行した後、
記録手段７２の記録動作をオフにする。

【００５５】なお、図２の実施の形態においても、図１
の実施の形態と同様に、本監視カメラシステムと連動し
て動作することが有用な警報装置や照明装置などの特定
機器８２を、移動物体検出手段２１の検出結果に基づい
てその機器動作をオン，オフ制御するようにしてもよ
い。

【００５６】次に、図２の実施の形態の監視カメラシス
テムの使用例（１），（２）について説明する。（１）オフィスなどにおいて、ゴミの分別が悪く、誰
が分別破棄していないかを特定する際に役立つ。本発明
品を使い、ゴミ箱周辺の移動物体に対して記録動作を行
う監視エリアとする。人が近寄ったり、あるいはさらに
限定して、ゴミ箱のゴミ投入口に変化があるかどうかを
画像処理により検知する。ゴミ箱に人が近寄るかゴミが
捨てられたとき、ゴミ箱上の動きを検知し、この移動体
検知に応じて画像記録が任意の時間或いは予め設定した
所定時間行われる。この際、バッファ手段にストックさ
れている画像は記録動作が開始した数秒前から呼び戻さ
れ、記録手段に保存され、かつ、画像記録開始の時点か
ら移動体検知に応じた任意の時間の画像或いは画像記録
開始の時点から予め設定していた時間（例えば10秒）の
画像が合わせて記録手段に記録される。この使用例によ
れば、自動的に記録された画像を再生することで、記録
手段のメモリを有効に利用できるとと共に、ゴミを捨て
た人がだれかだけでなく、どのゴミを捨てたのかまで確
認できる。

【００５７】（２）例えば、売場設置のカメラ付近の
客どうしの会話、独り言、店員と客の会話などを画像と
ともに記録することができる。この情報は売場の改善や
マーケティングデータとして活用できる。

【００５８】具体的には、本発明品を使い、監視領域の
売場周辺を記録動作の対象エリアとする。つまり、指定
した売場領域の動体（客や店員など）を画像処理により
検知する。

【００５９】動体が検知されない場合、画像および音声
データはそれぞれ専用のバッファに記録され、一定時間
保管される。一方動体が検知された場合、画像および音
声記録がスタートする。この際、記録スタート前までに
画像、音声それぞれ専用のバッファにストックされてい
るデータは、記録スタート（記録手段の動作が開始）し
た数秒前から呼び戻され、保存される。結果的に、記録
手段には、記録スタートの時間を挟んで予め設定してい
た時間の画像と音声が合わせて記録手段に記録される。

【００６０】次に、記録手段に記録された音声データを
文字データに変換する手段により、コンピュータ上のフ
ァイル形式例えばテキスト形式（TXT）の文字データが
得られる。さらに、事前に設定したキーワード（例．
“高い”、“ない”、“古い”、“多すぎ”など）をこ
の文字データから（自動）検索する手段により検出す
る。キーワードが検出できた場合は、そのキーワードが
記録された時刻を算出し、その時刻を挟んだ任意の時間
だけ、音声および画像を保存する。それ以前の画像、音
声データは記録容量を無駄にしないために、記録手段か
ら削除される。

【００６１】監視領域を複数のカメラで撮影しているの
で、音声をキャッチしたマイク内蔵のカメラに当事者の
客が撮影されていない場合でも、別のカメラから撮影で
きる。

【００６２】さらに、この撮影画像及び音声データはイ
ンターネットなどを使い、本部で一括集計もできる。集
積したデータをもとに、情報提供店には勿論のこと、各
支店にも同様の情報を流し、売場の改善対応を行う。ま
た、この情報による改善によって得られる売上データの
変動をデータベース化することで、効果のある改善対策
の具体例を蓄積できる。また、このデータベースは支店
のどこからでも、誰でも閲覧することができ、売場問題
について、共通の認識を得ることが可能である。音声デ
ータ収集は来店客のみならず、店の従業員を対象として
もよい。この場合、従業員の生の声、レジスタ付近での
トラブル記録など、のデータを収集することもできる。
さらには、次の実施の形態で述べるような、動線記録や
通過数の計数データ、人の流れる方向や速度のデータを
重ね合わせて売場状況を数値で把握することも可能であ
る。

【００６３】本例により、店が注目したい売場の会話
（来店客同士、来店客と従業員、従業員同士、ほか）と
その時の行動を記録した画像が効率よく得られるととも
に、生の声を随時収集できるため、マーケティングデー
タとして活用もできる。

【００６４】以上述べた実施の形態によれば、検知エリ
アの特定が難しい赤外線や人態センサと違い、エリアの
設定がカメラで撮像した画像上の任意の広さの領城で設
定できるため．限定したエリアに対する記録動作の設定
が可能である。

【００６５】さらに、画像処理上の設定（取り込みフレ
ーム数、など）が任意にできる場合は、画像変化の時間
（例えば、特定場所に人が立ち止まった時間）、スピー
ドを特定の設定にすることで、様々な種類の起動手段と
して応用できる。

【００６６】さらに、必要な画像だけを記録できるの
で、ハードディスクなどの記録手段の容量を節約し、か
つ人が画像を確認する際には必要な記録だけが素早くチ
ェックできる。

【００６７】次に、図２の実施の形態に対して、物体判
定、物体動作判定、物体追跡、物体移動軌跡演算、物体
移動距離演算、物体移動時間演算、物体移動速度・加速
度演算、物体移動平均速度演算、物体平均移動ベクトル
演算、移動物体動線予測の各演算手段、並びに物体移動
情報記憶、移動情報表示の各手段を設けて、監視領域に
おける、エリア別の移動物体の数や密度の多少の表示の
ほかに、移動物体の移動方向（軌跡）や動線予測を演算
及び表示できるようにした実施の形態について説明す
る。

【００６８】図５は本発明の第３の実施の形態の監視カ
メラシステムのブロック図を示している。図５の監視カ
メラシステムは、複数の監視カメラ1-1,1-2,・・・1-nで構
成される動画像入力手段１と、移動物体検出・追跡手段
２と、移動情報演算手段３と、移動情報記憶手段４と、
移動物体動線予測手段５と、表示手段６と、記録処理手
段７と、音声処理手段９とを有して構成されている。さ
らに、移動物体検出・追跡手段２での移動物体検出結果
に基づいて、本監視カメラシステムと連動して使用する
ことが有効な警報装置や照明装置などの特定機器８２を
オン，オフ制御する特定機器制御手段８１が本監視カメ
ラシステムに接続可能となっている。

【００６９】動画像入力手段１は、複数のビデオカメラ
1-1,1-2,・・・1-nからなり、監視領域のほぼ全体を分担し
て撮影可能なように設置される。具体的には、監視領域
を複数のエリアで構成し、各エリアごとに少なくとも１
つのカメラを配置して撮影を行う。なお、２台以上のカ
メラで監視できるエリアが一部重複するようにカメラを
配置することにより、一方からのカメラでは見えにくい
陳列棚による陰や人同士による陰になっても、もう一方
のカメラで陰の人物を撮影できるように配置することが
好ましい。

【００７０】そして、各カメラ個々の撮影画像に対して
監視領域の中の座標が対応付けられていて、それらの撮
像を指定された座標に基づき合成することで同じ物体を
重複することなくしかも他の物体を明確に識別して、監
視領域のほぼ全体をカバーするように一つの監視画像ま
たは複数に並置された監視画像を形成する。なお、撮影
画像の合成は、図示しない画像選択手段（図６の符号１
１に相当）にて各画像を１画面における時間内に順次選
択的に合成することによって行うことができる。

【００７１】移動物体検出・追跡手段２は、移動物体検
出手段２１と、対象物体判定手段２２と、対象物体動作
判定手段２３と、対象物体追跡手段２４とを備えてい
る。移動物体検出手段２１は、動画像入力手段１からの
入力に基づいて作成された監視画像の中から移動物体
（例えば人）を検出する手段である。対象物体判定手段
２２は、識別した移動物体の中から監視対象の移動物体
を判定する手段である。対象物体動作判定手段２３は、
監視対象の移動物体の動作を判定する手段である。対象
物体追跡手段２４は、監視対象の移動物体を追跡する手
段である。

【００７２】移動物体検出・追跡手段２における監視対
象である移動物体を検出・判定するには、例えば、差分
法により入力画像（ｔ）と予めメモリに記憶してある背
景画像（０）との差分画像を作成し、それに基づいて２
値化画像を作成する。引き続いてラベリング処理により
各物体に番号付けをしてから特徴抽出などの手法により
人の判定を行なう。なお、背景画像には、入力画像が切
り換わるごとに前の入力画像を用いる。人が判定されれ
ば、それを検出情報として記憶し、次の入力画像に対す
る処理を続ける。

【００７３】さらに、移動物体検出・追跡手段２におけ
る動作判定及び移動物体追跡については、上記のように
監視対象の移動物体を検出・判定したときには、さらに
当該移動物体の向きやどのような動作をしているかを動
作の変化から判定して、移動物体の動作情報を得る。

【００７４】また、上記のように検出された監視対象の
移動物体がどのように移動したか、すなわち移動物体の
追跡は、例えば移動物体の重心などの位置情報を求め、
時系列に得られた監視画像から当該位置情報の移動を比
較することにより、これを行なうことができる。なお、
移動物体の検出及び追跡は、移動物体を単独および集合
のいずれに対して行なうように構成してもよいし、また
都度いずれに対しても行なえるように切り換え可能に構
成してもよい。

【００７５】移動情報演算手段３は、第１の移動情報演
算手段３ａおよび第２の移動情報演算手段３ｂからな
る。第１の移動情報演算手段３ａは、監視対象の移動物
体が単体の場合の移動情報を演算する手段であり、移動
軌跡演算手段３ａ1、移動距離演算手段３ａ2、移動時間
演算手段３ａ3および移動速度・加速度演算手段３ａ4を
備えている。移動軌跡演算手段３ａ1は、単体移動物体
の移動軌跡を演算する。移動距離演算手段３ａ2は、単
体移動物体の移動距離を演算する。移動時間演算手段３
ａ3は、単体移動物体の移動時間を演算する。移動速度
・加速度演算手段３ａ４は、単体移動物体の移動速度お
よび加速度を演算する。

【００７６】第２の集合移動情報演算手段３ｂは、監視
対象の移動物体が複数の移動物体の集合からなる場合の
移動情報すなわち集合移動情報を演算する手段であり、
対象物体計数手段３ｂ1、対象物体密度演算手段３ｂ2、
平均移動速度演算手段３ｂ3及び平均移動ベクトル演算
手段３ｂ4を備えている。対象物体計数手段３ｂ1は、監
視領域の中の特定領域内に存在する単体移動物体の数を
計数して集合移動物体の大きさを演算する手段である。
対象物体密度演算手段３ｂ2は、対象物体計数手段３ｂ1
の演算値を特定領域の面積で除算して集合移動物体の密
度を演算する手段である。平均移動速度演算手段３ｂ3
は、集合移動物体の移動速度の平均値を演算する手段で
ある。平均移動ベクトル演算手段３ｂ4は、集合移動物
体の平均移動ベクトルを演算する手段である。

【００７７】移動情報演算手段３は、検出した移動物体
に関する移動情報を演算により求める手段である。第１
の移動情報演算手段３ａでは、単体の移動物体を監視す
る場合には、移動情報とは、監視対象の移動物体の少な
くとも移動軌跡、移動距離、移動時間および移動速度に
関する情報を含むものとする。さらに、所要により、加
速度などの情報を加えて演算することもできる。上記の
諸情報のうち、移動軌跡情報は、移動物体の追跡により
得ることができる。また、移動距離情報は、移動軌跡情
報に基づいてある一定時間における移動軌跡から演算す
ることができる。さらに、移動時間情報は、移動軌跡情
報に基づいてある一定の距離を移動するために要した時
間から演算することができる。さらにまた、移動速度情
報は、移動距離および移動時間に基づいて演算すること
ができる。加速度も同様に移動距離および移動時間に基
づいて演算することができる。

【００７８】第２の移動情報演算手段３ｂでは、複数の
移動物体の集合を監視する場合には、所望により移動物
体の密度、平均速度および平均移動ベクトルなどを演算
することができる。ここで、移動物体の密度とは、監視
領域内における特定の一部領域における単位面積当たり
の移動物体数を示すもので、特定空間における移動物体
の混雑度を意味する。したがって、移動物体の密度は、
特定の一部領域の面積と、その中に存在する移動物体の
数とに基づいて演算される。移動物体平均移動ベクトル
とは、移動前後の位置座標と移動時間から移動距離や方
向，速度などを示すもので、これらを演算することがで
きる。

【００７９】移動情報記憶手段４は、監視画像、移動物
体検出・追跡結果、単体移動情報および集合移動情報か
らなる移動情報を記憶する手段である。

【００８０】移動情報記憶手段４では、移動情報の一部
または全部を選択的に記憶する。また、所望により、移
動情報に関連する情報をも記憶させることを許容する。
移動情報を記憶させる場合に、監視対象の移動物体の属
性情報たとえば移動物体が人の場合に、性別、年齢など
を関連付けて記憶させてもよい。

【００８１】移動物体動線予測手段５は、移動情報記憶
手段４に記憶した移動情報に基づいて、移動物体の移動
を動線として予測して、その予測結果を求める手段であ
る。移動物体動線予測手段５は、単体移動物体動線予測
手段５１および集合移動物体動線予測手段５２を備えて
いる。単体移動物体動線予測手段５１は、単体移動物体
の動線を予測する手段である。集合移動物体動線予測手
段５２は、集合移動物体の動線を予測する手段である。

【００８２】なお、動線は、移動体が単体および集合の
いずれに対しても求めることができる。したがって、単
体および集合を切り換え可能に構成することもできる。
この場合、移動情報演算手段３ａ，３ｂの同様の切り換
えに連動するように構成してもよい。また、集合の移動
物体の動線を予測するために、監視対象の移動物体を流
体として捉え、監視領域の障害物などの位置情報などを
演算に導入して流体力学的に演算を行なうことにより、
監視対象の移動物体の動線予測を精度高く得ることがで
きる。

【００８３】表示手段６は、移動情報記憶手段４に記憶
した現在およびまたは過去の対象物体の移動情報、及び
移動物体動線予測手段５による動線予測情報の少なくと
も１つを表示する手段である。

【００８４】さらに、以上のような各種の移動情報の演
算及びその表示を行える機能を有した監視カメラシステ
ムに対しても、各監視エリアの撮影画像から移動物体を
検出し、この移動物体の検出結果に基づいて、記録手段
７２のオン，オフ制御を行う手段７、及び音声データの
文字データ化及びキーワード検索を行う手段９を設けた
構成としている。

【００８５】以上の第３の実施の形態の構成において
は、例えば、ある監視空間で人を監視する場合を考え
る。先ず、複数の監視カメラ1-1,1-2,・・・1-nで撮影され
た画像は、移動物体の検出・追跡手段２に入力される。

【００８６】移動物体の検出・追跡手段２では、入力さ
れた画像から、例えば一定フレーム間画像の差分処理な
どの画像処理によって移動物体を検出し、移動物体が人
であるかを判定する。さらに人であった場合に、例えば
人の向きなど、どのような動作をしているかを判定す
る。また、時系列に得られた画像から検出された人が、
どのように移動したかを追跡する。

【００８７】このようにして、人が何処で、何をした
か、またどのように移動したかを、自動的に監視でき
る。

【００８８】さらに、移動情報演算手段３では、特定の
移動軌跡や、人の群集の流れの追跡を行う。第１の移動
情報演算手段３ａでは、特定の人の移動距離や、移動時
間、移動速度・加速度を把握することで、個人の行動を
監視することができる。また、第２の移動情報演算手段
３ｂでは、人の群集の数、密度、平均速度、平均移動ベ
クトルなどを把握することで、ある空間の混雑の程度な
どを監視することができる。

【００８９】移動情報記憶手段４は、移動情報演算手段
３によって得られた演算結果（移動情報）を記憶し、移
動物体動線予測手段５は、移動情報記憶手段４に記憶し
た移動情報に基づいて、移動物体の移動を動線として予
測して、その予測結果を求める。

【００９０】表示手段６では、監視領域の各エリア若し
くは特定エリアの移動物体の移動距離や速度、及び移動
物体の数及び密度の表示のほかに、人の移動方向（軌
跡）や動線予測などを演算し表示することが可能とな
る。これにより特定エリアにおける混雑を予め予想する
ことも可能である。

【００９１】そして、以上のような各種の移動情報の演
算及びその表示を行える機能を有した監視カメラシステ
ムに対しても、各監視エリアの撮影画像から移動物体を
検出し、この移動物体の検出結果に基づいて、記録手段
７２のオン，オフ制御を行う構成としたことで、常時一
定量の記憶を行っているバッファ手段７３との組み合わ
せで、記録手段７２の記録開始時には記録開始時以前の
バッファ記憶されていた監視画像と、記録開始時以降に
撮影されている画像とを注目すべき一連の映像として記
録手段に記録させることができる。そして、同時に音声
データも記録手段７２に記録している場合には、その記
録された音声データを文字データ変換手段９１にて文字
データに変換し、かつその文字データの中からキーワー
ド検索して最も知りたい情報のみを文字データとして記
録手段７２に最終的に記録することができ、記録手段７
２の記録容量を有効に利用することができる。

【００９２】

【発明の効果】請求項１の発明によれば、移動物体の侵
入を、別にセンサを設けて検知することなく、差分処理
などの画像処理により検出でき、システム全体としてシ
ンプルになる利点を有する。また、監視カメラとして
は、監視領域に移動物体が入ってきた時にのみ、少なく
ともそれ以降の期間の移動物体の撮影画像又は入力音声
を取得することができ、記録手段の限られた記録容量を
有効に利用することができる。

【００９３】請求項２の発明によれば、取得した音声を
文字データに変換するので、音声データを文字データと
して保存したり表示したりして利用することが可能とな
る。

【００９４】請求項３の発明によれば、変換された文字
データ中から、ユーザが予めキーワードを設定して検索
を行い、必要なデータを含む必要部分のみを取り出して
記録手段に記録することが可能となり、記録手段の限ら
れた記録容量を有効に利用することができる。

【００９５】請求項４の発明によれば、移動物体が検出
されない時は、撮影画像及び入力音声はそれぞれ専用の
バッファに所定量ずつ更新されながら一定量（例えば３
０秒分）記憶される。そして、移動物体が検出された時
は、前記バッファに記憶されている画像及び音声のデー
タが、記録手段をオンにした所定期間前（例えば３０秒
前）から呼び出されて記録手段に記録されると共に記録
オン以降に撮影及び入力される移動物体の画像及び音声
が記録手段に記録されることになる。つまり、記録手段
には、記録開始の時間を挟んで予め設定していた時間の
画像と音声が合わせて記録手段に記録され、記録データ
として移動体侵入前後のデータが得られ有用である。

【００９６】請求項５の発明によれば、複数の監視カメ
ラによって監視することが可能で、監視領域に広く設置
された複数の監視カメラによって得られた画像は、それ
ぞれの座標が対応付けられているので、カメラの撮影し
た画像が監視領域のどの部分を表示しているか正確に把
握することができ、検知エリアの特定が難しい赤外線や
人感センサーと違い、エリアの設定がカメラで撮像した
画像上の任意の広さの領域で設定できるため、限定した
領域に対する記録動作の設定が可能である。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の監視カメラシステ
ムを示すブロック図。

【図２】本発明の第２の実施の形態の監視カメラシステ
ムを示すブロック図。

【図３】図２の実施の形態の記録動作を説明する図。

【図４】図２の実施の形態の記録動作を説明する図。

【図５】本発明の第３の実施の形態の監視カメラシステ
ムを示すブロック図。

【図６】従来の監視カメラシステムを示すブロック図。

【符号の説明】

１…動画像入力手段２１…移動物体検出手段７１…記録制御手段７２…記録手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者一条隆東京都品川区東品川四丁目３番１号東芝ライテック株式会社内Ｆターム(参考） 5C053 FA11 FA23 JA01 LA01 5C054 FC01 FC12 FC13 FC15 FD07 FE17 FF05 GA01 GB01 GD04 GD05 HA19 5D015 KK02

Claims

【特許請求の範囲】

【請求項１】少なくとも１つのエリアで構成された監
視領域を、各エリアごとに少なくとも１つのカメラを配
置して撮影画像及び入力音声の少なくとも一方を取得す
る動画像入力手段と；前記動画像入力手段の撮影画像か
ら移動物体を検出する移動物体検出手段と；前記撮影画
像及び入力音声の少なくとも一方を記録可能にする記録
手段と；前記移動物体検出手段の検出結果に基づいて前
記記録手段の記録動作をオン，オフする制御手段と；を
具備したことを特徴とする監視カメラシステム。
【請求項２】前記監視カメラシステムにおける、音声
を記録可能に構成されたものにあっては、音声を文字デ
ータに変換する手段を備えたことを特徴とする請求項１
記載の監視カメラシステム。
【請求項３】前記の変換された文字データの中から、
特定の文字データを検索する手段をさらに備え、検索し
た文字データを少なくとも含む所定期間のデータを前記
記録手段に記録するように構成されていることを特徴と
する請求項２記載の監視カメラシステム。
【請求項４】前記動画像入力手段にて入力された画像
及び音声の少なくとも一方を一時的に保管しておくバッ
ファ手段を備え、このバッファ手段に蓄えた画像及び音
声の少なくとも一方を用いて、前記制御手段にて前記記
録手段の動作をオンした時にその前後の所定期間に亘る
画像及び音声の少なくとも一方を前記記録手段に記録す
ることを特徴とする請求項１記載の監視カメラシステ
ム。
【請求項５】前記カメラは、監視領域をカバーするた
めにその複数が用いられ、各カメラ個々の撮影画像に対
して監視領域の中の座標が対応付けられていることを特
徴とする請求項１〜４のいずれか１つに記載の監視カメ
ラシステム。