JP2002344957A - 画像監視装置 - Google Patents

Abstract

(57)【要約】 【課題】 特定の監視対象に向けて自動的にビデオカメ
ラを動かすことができるようにした画像監視装置を提供
すること。 【解決手段】 マイク群１０２として、音源(侵入物体)
Ｓの方位を、水平面内で異なる方位に向けて配置した複
数のマイク１〜５を用いて特定し、電動雲台１０３を制
御して、ビデオカメラ１０１を音源Ｓの方向に自動的に
向けるようにしたもの。 【効果】 音声を発している物体が監視対象領域に入れ
ば、それに向けてビデオカメラが自動的に動かされるの
で、常時、モニタの監視を要することなく、確実に侵入
物体の画像と音声を得ることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像による侵入物
体の監視や定点観測に使用される画像監視装置に係り、
特に監視範囲や観測範囲が広い場合に好適な画像監視装
置に関する。

【０００２】

【従来の技術】近年、侵入物体の監視や定点観測など
に、ビデオカメラで撮像した画像を用いた監視システム
が広く採用されるようになっている。また、近年は、モ
バイル画像表示機器やインターネットなどの普及に伴っ
て、希望する領域の画像を、遠隔地の監視センタで監視
したり観測できるようにしたシステムも提供されるよう
になっている。

【０００３】このとき、従来の画像監視装置では、ビデ
オカメラの画像信号や音声信号をそのまま監視センタに
伝送する方式と、符号化(圧縮)して伝送する方式があ
り、ここで、さらに、これらの信号の一部若しくは全部
を記録する場合がある。そして、監視センタなどの伝送
先では、そのまま、或いは復号化(符号化伝送方式の場
合)して、画像をモニタに表示し、音声をスピーカによ
り出力する。

【０００４】ここで符号化伝送方式による場合、通常、
画像の圧縮にはＪＥＰＧ方式やＭＰＥＧ方式が、音声に
はＷＡＶＥ方式などが採用され、また、伝送路には、画
像信号線や無線などが用いられている。更に、記憶媒体
には、ＩＣメモリやハードディスクが使用され、ビデオ
カメラの制御は、シリアル信号を用いて行うのが一般的
であり、このとき、サーバ機能により録画データの配信
が行われる場合もある。

【０００５】そこで、このような監視装置において、監
視対象が広範囲にわたる際には、従来から、複数台のカ
メラを用いて異なった場所が撮影できるようにしたり、
ビデオカメラを遠隔操作可能な雲台に取付け、カメラの
パン(水平旋回)操作、チルト(仰角変更)操作、ズーミン
グ(レンズの画角変更)操作などにより、ビデオカメラに
よる撮像視野を変え、必要な場所が任意に撮像できるよ
うにしていた。

【０００６】ここで、ビデオカメラを動かして撮像視野
を変更する方法の場合、オペレータが操作器などを用
い、手動でビデオカメラを操作するのが一般的である
が、しかし、この方法では、オペレータが常時、或いは
必要なとき、モニタを監視している必要がある。

【０００７】そこで、ビデオカメラを自動的に操作する
方法として、例えばビデオカメラの撮像方向を、予め何
点かプリセット方向として設定しておき、これらのプリ
セット位置を順次、自動的に移し替えてゆく方法、或い
は侵入物体をビデオカメラで撮像した画像データから画
像認識し、認識した物体が追尾されるようにビデオカメ
ラを動かす方法などが、従来から提案されている。

【０００８】

【発明が解決しようとする課題】上記従来技術は、監視
対象の特定に充分な配慮がされているとは言えず、ビデ
オカメラによる対象画像の撮像に問題があった。すなわ
ち、まず、プリセット位置の移し替えによる方法では、
何らかの事象が発生した時点で、ビデオカメラがその方
向に向いていない場合があり、必要な画像のモニタに問
題が生じてしまう。

【０００９】また、画像認識によりビデオカメラを追尾
させる方法では、撮像対象が複数現われ、それらが異な
る方向に移動した場合には、撮像対象を何れか１種に絞
らざるを得ず、しかもビデオカメラの撮像視野外で発生
した事象には対応できないという問題が生じてしまう。

【００１０】本発明の目的は、特定の監視対象に向けて
自動的にビデオカメラを動かすことができるようにした
画像監視装置を提供することにある。

【００１１】

【課題を解決するための手段】上記目的は、ビデオカメ
ラで撮像した画像により、対象領域に侵入した物体を監
視するようにした画像監視装置において、水平面内で異
なる方位に向けて配置した複数のマイクロホンにより検
出される音データの解析により、音源の方位を特定する
手段を設け、前記ビデオカメラの撮像方向が、前記手段
により特定した方位に自動的に制御されるようにして達
成される。このとき、前記マイクロホンで検出された音
データを音声認識し、文字コードデータに変換する手段
が設けられているようにしても良い。

【００１２】

【発明の実施の形態】以下、本発明による画像監視装置
について、図示の実施の形態により詳細に説明する。図
１は、本発明の一実施形態が適用されたシステムの一例
で、まず、図の(a)に示すように、このシステムの全体
は、監視装置本体１００とビデオカメラ１０１、マイク
群１０２、それに電動雲台１０３で構成されている。

【００１３】まず、監視装置本体１００について、図２
により説明する。

【００１４】この図２において、ＣＰＵ２００は、バス
２０１を介して、これに接続されている各々の機能を制
御し、画像監視に必要な各種の処理を実行する。次に、
画像圧縮／伸張部２０２は、ビデオカメラ１０２から入
力される画像信号の圧縮処理と、圧縮された画像データ
の伸張処理を実行する。画像認識部２０３には、ビデオ
カメラ１０１から画像信号が入力され、侵入物体の検出
に必要な処理を、予め設定してある画像処理手法により
実行する。

【００１５】音声合成部２０４では、文字コードデータ
を入力して音声合成し、音声信号に変換する処理を実行
する。音声圧縮／伸張部２０５は、マイク群１０２から
入力される音声信号の圧縮処理と、圧縮された音声デー
タの伸張処理を実行する。音声認識部２０６では、入力
された音声データを処理し、文字データに変換する処理
を実行する。メモリ２０７は、監視装置本体１００のプ
ログラムを実行可能な状態で格納する働きをする。

【００１６】カメラ制御部２０８は、ビデオカメラ１０
２及び電動雲台１０３と制御信号の授受を行ない、ビデ
オカメラ１０２の方向制御、フォーカス制御、それにズ
ーム制御などに必要な処理を実行する。ネットワーク制
御部２０９は、それが接続されているインターネットや
ＬＡＮなどのネットワークＮのプロトコルを認識し、ネ
ットワークＮとデータの送受信に必要な処理を実行す
る。

【００１７】記録装置２１０は、画像データと音声デー
タ、文字コードデータ、更には監視装置本体１００で扱
う各種の情報を記録するもので、記録されたデータはＣ
ＰＵ２００の要求により選択的に読出される。このた
め、ハードディスクやＤＶＤ、メモリなどランダムアク
セスが可能な媒体であれば何であってもよい。入力装置
２１１は、例えばキーボードなど、オペレータとのイン
ターフェース用で、例えば後述する動作モードの切替え
など各種のデータの設定や指示の入力に使用される。

【００１８】図１に戻り、ビデオカメラ１０１は、所定
の画角のレンズ、或いはズームレンズが装備してあり、
最大写角の状態で、監視対象とする領域の上下方向では
必要な範囲の全体を含み、水平方向では一部だけの撮像
が可能なＣＣＤカメラなどで構成され、必要に応じてカ
ラーカメラとモノクロカメラが選択される。

【００１９】ここで、図示してある矢印Ａは、ビデオカ
メラ１０１の向き(撮像中心方向)が監視対象とする領域
の左右方向の中心を向いているときの方向を表わす。

【００２０】次に、マイク群１０２は、ビデオカメラ１
０１の近傍に、水平面内で異なる方位に向けて配置した
複数個(ここでは５個)のマイク１〜５で構成されてい
る。なお、ここで“マイク”とは、マイクロホンの略称
である。そして、これらのマイク１〜５は、図１の(b)
から明らかなように、ビデオカメラ１の向きＡと同じ方
向Ｂを中心として、水平面内の左右に略等角度で均等に
配置してある。

【００２１】次に、電動雲台１０３は、ビデオカメラ１
０２を保持し、このとき、少なくとも方位角については
遠隔制御が可能なカメラ架台で構成され、カメラ制御部
２０８(図２)から供給されるカメラ制御信号に応じてビ
デオカメラ１０１をパン移動させ、方位角を遠隔制御す
る働きをする。

【００２２】次に、この実施形態の動作について説明す
る。図３は、この実施形態の動作を説明するためのフロ
ーチャートで、この処理はＣＰＵ２００により実行さ
れ、この処理が開始(Start)されると、まず、映像信号
と音声信号をビデオカメラ１０１とマイク群１０２から
入力し(処理３００)、画像圧縮／伸張部２０２及び音声
圧縮／伸張部２０５で圧縮処理する(処理３０１)。

【００２３】そして、この後は、動作モードに応じて処
理が分岐される(処理３０２)。このときの動作モード
は、入力装置２１１(図２)からＣＰＵ２００に入力され
る動作モード指令、又は監視センタからＣＰＵ２００に
供給される動作モード指令によって設定されるもので、
この実施形態では、モニタモードＭＡと検知モードＭ
Ｂ、それにカメラ追従モードの３種の動作モードがあ
る。

【００２４】まず、ここで、いま、モニタモードＭＡに
設定されていたとする。このモニタモードＭＡは、通常
の監視動作用の動作モードで、このため、処理３０１で
圧縮処理された映像データと音声データは、この後、記
録装置２１０に記録格納されると共に、ネットワーク制
御部２０９を介してネットワークＮ上に配信される(処
理３０３)。

【００２５】この結果、ネットワークークＮに接続され
ている監視センタ(図示されていない)では、監視対象領
域からビデオカメラ１０１により撮像された画像と、同
じく監視対象領域からマイク群１０２により集音された
音声を、そこにある所定のモニタ用機器(画像表示装置
やスピーカなど)で再生することができ、画像と音声に
よる監視が得られることになる。

【００２６】次に、検知モードＭＢに設定されていたと
する。このモードＭＢは、ビデオカメラ１で撮像した画
像データから画像認識により侵入物体を検出する動作モ
ードで、このときは、画像認識部２０３に画像データが
供給され、ここで、予め設定してあるアルゴリズムに従
って侵入物体の検知が行なわれ(処理３０４)、この後、
該当する画像データと音声データが選択的に記録格納さ
れると共に、ネットワークークＮ上に配信される(処理
３０３)。

【００２７】なお、画像データと音声データについて
は、データ圧縮を行わない状態(非圧縮状態)で記録格納
され、配信を行うようにしてもよい。また、このとき、
マイク群１０２には複数個のマイク１〜５があるので、
これらの音声は、夫々別々に記録格納され、配信される
ようにしてもよい。

【００２８】次に、カメラ追従モードＭＣに設定されて
いたとする。このモードＭＣは、図１(b)に、音源Ｓと
して示したように、ビデオカメラ１０１による監視対象
領域の中に、例えば自動車など、音を発生する侵入物体
が現われたとき、この侵入物体の方向が自動的に検出さ
れ、この方向にビデオカメラ１０１の撮像方向が自動的
に追尾される動作を与えるモードのことである。

【００２９】このカメラ追従モードＭＣときは、まず、
各マイク１〜５から入力された音声データをＣＰＵ２０
０で解析する(処理３０５)。次に、この解析結果に基づ
いて音源の方向を検出し特定する(処理３０６)。そし
て、この特定結果を、カメラ制御部２０８を介して電動
雲台１０２に供給する(処理３０７)。

【００３０】この結果、ビデオカメラ１０１の撮像方向
は、音源Ｓ、つまり侵入物体が存在する方向に自動的に
向けられ、従って、ビデオカメラ１０１からは、侵入物
体が被写体となっている画像の信号が常に確実に得られ
ることになり、容易に侵入物体が監視できることにな
る。

【００３１】次に、このときのＣＰＵ２００による処
理、すなわち、処理３０５と処理３０６による音声デー
タの解析処理と音源方向の特定処理ついて、図４により
具体的に説明する。この図４は、各マイク１〜５で検出
される音声信号の波形を並べて示したもので、図におい
て、各表示区画４０１〜４０５が、各マイク１〜５の音
声信号の表示区画に夫々対応しており、夫々の区画４０
１〜４０５に表示されている波形４１０〜４５０が各マ
イク１〜５の音声信号の波形に対応している。

【００３２】ここで、各マイク１〜５の水平面内での配
置についてみると、既に図１(b)により示したように、
ビデオカメラ１が監視対象とする領域の左右方向の中心
方向Ａと同じ方向Ｂを中心として、水平面内の左右に略
等角度で均等に配置されている。

【００３３】そこで、いま、この図１(b)において、例
えば方向Ｂを方位Ｎ(北)とすると、図示のように、マイ
ク１は中心から方位Ｗ(西)側に位置し、以下、マイク２
は方位ＮＷ(北西)側、マイク３は方位Ｎ(北)側、マイク
４は方位ＮＥ(北東)側、そしてマイク５は方位Ｅ(東)側
に、夫々位置していることになり、ここで、方位Ｎがビ
デオカメラ１の監視対象領域の左右方向の中心方向にな
る。

【００３４】そうすると、監視対象とする領域内から音
が発生された場合、その音源から各マイク１〜５までの
距離は、各マイク１〜５毎に異なったものとなるように
できる。そこで、この実施形態では、マイク１〜５によ
り音声信号が検出されたとき、各マイク１〜５の音声信
号間に現われる立上り時間の違いと、信号レベルの違い
により、音源の方位を検出し特定するようになってい
る。

【００３５】いま、ここで、音源Ｓが、図１(b)に示す
位置に現われたとすると、これによる音(音声)がマイク
群１０２により検出され、各マイク１〜５から音声信号
がＣＰＵ２００に取り込まれる。そして、このときの音
声信号が図４の波形４１０〜４５０に示すようになって
いたとすると、このときは、音源Ｓに一番近い位置にあ
るのがマイク４であるから、マイク４による音声信号４
４０が最初に検出される。

【００３６】そこで、この音声信号４４０が検出された
時刻をｔ₀ とし、この後に検出される音声信号が何れの
マイクによるものかを調べることにより、音源Ｓの方位
が特定できる。この例では、図１(b)に示すように、音
源Ｓは、マイク４が位置している方位ＮＥにあるので、
マイク３とマイク５は、音源Ｓから等距離にある。

【００３７】そこで、マイク４の音声信号４４０が検出
された時刻ｔ₀ 以降、所定の遅れ時間Δｔ経過後の所定
の時刻ｔ₁ で同時にマイク３の音声信号４３０とマイク
５の音声信号４５０が検出されることになり、従って、
音源Ｓの方向は、マイク４の方位と同じ方位ＮＥである
と特定できることになる。

【００３８】以下、同様に、音源Ｓがマイク３の方位Ｎ
にあるときは、最初にマイク３による音声信号４３０が
検出された後、マイク２の音声信号４２０とマイク４に
よる音声信号４４０が同時に検出され、マイク２の方位
ＮＷにあるときは、最初にマイク２による音声信号４２
０が検出された後、マイク１の音声信号４１０とマイク
３による音声信号４３０が同時に検出されることにな
り、いずれの場合も音源Ｓの方位が特定できることにな
る。

【００３９】次に、音源Ｓがマイク３の方位Ｎとマイク
４の方位ＮＥの間の方位、つまり方位ＮＮＥ(北北東)に
あるときは、音源Ｓからの距離がマイク３とマイク４で
同じになるので、マイク３の音声信号４３０とマイク４
の音声信号４４０が同時に最初に検出されることにな
り、音源Ｓは方位ＮＮＥであると特定できる。

【００４０】以下、同様に、マイク１による音声信号４
１０とマイク２による音声信号４２０が最初に同時に検
出されたときは、音源Ｓは方位Ｗと方位ＮＷの間、つま
り方位ＮＮＷ(北北西)にあり、マイク１による音声信号
４１０とマイク２による音声信号４２０が最初に同時に
検出されたときは、音源Ｓは方位Ｗと方位ＮＷの間、つ
まり方位ＷＮＷ(西北西)であると夫々特定できる。

【００４１】同じく、マイク３による音声信号４３０と
マイク４による音声信号４４０が最初に同時に検出され
たときは、音源Ｓは方位Ｎと方位ＮＥの間、つまり方位
ＮＮＥ(北北東)にあり、マイク４による音声信号４４０
とマイク５による音声信号４５０が最初に同時に検出さ
れたときは、音源Ｓは方位ＮＥと方位Ｅの間、つまり方
位ＥＮＥ(東北東)であると夫々特定できる。

【００４２】更に、図１(b)から明らかなように、音源
Ｓの方位と、音源Ｓから各マイク１〜５までの距離は一
義的に決まる。従って、この実施形態によれば、各マイ
ク１〜５で検出された音声信号間での時間差を検出する
ことにより、上記に例示した方位以外の任意の方位にあ
る音源Ｓでも、その方位を容易に、しかも充分に高い精
度で特定することができる。

【００４３】こうして、音源Ｓの方位ができたら、ＣＰ
Ｕ２００はカメラ制御器２０８を介して電動雲台１０３
を制御し、ビデオカメラ１０１が音源Ｓの方向に向くよ
うに制御することができ、従って、侵入物体が被写体と
して含まれている画像をビデオカメラ１０１で撮影し、
その画像信号を記録、配信することができ、必要な監視
を確実に遂行することができる。

【００４４】ここで、本発明の実施の形態としては、マ
イク群１０２により集音された音声信号のレベルが、予
め設定してある一定値以上になったときだけ、音源方位
によるビデオカメラ１０１の制御を行なうようにしても
よい。また、上記実施形態の場合、各マイク１〜５によ
る音声信号のレベルも、音源方位によって変化し、各マ
イク１〜５の指向性によっても変化する。従って、本発
明の実施形態によれば、この音声信号のレベル変化を利
用して音源の方位を検出するようにすることもできる。

【００４５】次に、この実施形態による音声信号の伝送
について説明する。本発明が対象としている画像監視装
置では、監視現場と監視センタの間で音声による通話が
必要な場合があり、しかも、このとき、一般の電話と同
様、双方向通話が望ましい。しかし、このためには別
途、そのための伝送路を要するが、このとき、監視現場
と監視センタの間にある本来の監視のための画像データ
や制御信号の伝送に使用されている伝送路が共用できれ
ば、コスト的に有利である。

【００４６】しかしながら、ここで、双方向通話のため
の音声データをそのままの形式で送信するには、かなり
の伝送帯域を確保する必要があり、このため、そのまま
共用した場合には、本来の伝送容量が圧迫されてしまう
上、伝送量の確保に制約があった。

【００４７】そこで、この実施形態では、交信する音声
信号を音声認識し、これにより文字コードデータに変換
し、その後、この文字コードデータを伝送し、受信先で
音声合成装置により音声として取り出せるようにしたも
のである。このように、音声データを文字コードに変換
すると、データ量がかなり少なくなり、従って、音声信
号の伝送に必要な伝送量の増加を最小限に抑えることが
でき、共用が可能になるのである。

【００４８】まず、この実施形態における送信時での処
理について、図５のフローチャートにより説明する。こ
の図５に示した処理もＣＰＵ２００により実行され、処
理が開始されると、まず、マイク群１０２から音声信号
を入力し(処理５００)、これを音声認識部２０６で解析
し(処理５０１)、次いで文字コードに変換する(処理５
０２)。変換された文字コードデータは、そのときの画
像データに対応させて記憶装置２１０に記録し、これと
共に、ネットワーク制御部２０９を介してネットワーク
Ｎ上に配信される(処理５０３)。

【００４９】次に、受信時での処理について説明する。
ネットワークＮからネットワーク制御部２０９を介して
送られてきた文字コードデータ又は記録装置２１０から
読出された文字コードデータは、音声合成部２０４に入
力され、ここで音声信号に変換される。そこで、この音
声合成部２０４から出力される音声信号をスピーカに供
給することにより音声が再生される。

【００５０】従って、これにより双方向での会話を行な
うことができ、しかも、このとき、本来の監視用データ
の伝送に使用されている伝送路を用いているにも関わら
ず、本来の伝送容量を圧迫することなく、双方向通話に
必要な伝送量が容易に確保できる。なお、この音声信号
の文字コード化と音声化は、複数のマイク１〜５の入力
に対して行なってもよいことは言うまでもない。

【００５１】

【発明の効果】本発明によれば、音声を発している物体
が監視対象領域に入れば、それに向けてビデオカメラが
自動的に動かされるので、常時、モニタの監視を要する
ことなく、確実に侵入物体の画像と音声を得ることがで
きる。

【図面の簡単な説明】

【図１】本発明による画像監視装置の一実施形態を示す
構成図である。

【図２】本発明の一実施形態における監視装置本体のブ
ロック構成図である。

【図３】本発明の一実施形態による監視動作処理を説明
するためのフローチャートである。

【図４】本発明の一実施形態における音声信号の波形図
である。

【図５】本発明の一実施形態による音声信号処理を説明
するためのフローチャートである。

【符号の説明】

１〜５ マイク(マイクロホン) １００ 監視装置本体 １０１ ビデオカメラ １０２ マイク群 １０３ 電動雲台 ２００ ＣＰＵ ２０１ バス ２０２ 画像伸張／圧縮部 ２０３ 画像認識部 ２０４ 音声合成部 ２０５ 音声圧縮／伸張部 ２０６ 音声認識部 ２０７ メモリ ２０８ カメラ制御部 ２０９ ネットワーク制御部 ２１０ 記録装置 ２１１ 入力装置 Ｎ ネットワークーク Ｓ 音源(侵入物体)

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 15/28 Ｈ０４Ｎ 5/225 Ｃ Ｈ０４Ｎ 5/222 5/232 Ｂ 5/225 Ｃ 5/232 Ｇ１０Ｌ 3/00 ５１１ ５５１Ｓ Ｆターム(参考） 5C022 AA01 AB62 AB63 AB65 AC27 AC71 AC72 5C054 CA04 CA08 CF01 CF06 CG02 CG03 CG05 DA06 EA01 EA03 EA05 FC12 FC13 FF02 HA19 5C084 AA02 AA07 AA14 AA18 BB31 CC16 DD02 DD12 EE02 EE05 FF03 GG17 GG43 GG78 5C087 AA02 AA03 AA08 BB02 BB46 BB65 BB74 DD05 DD27 EE06 EE14 FF01 FF02 FF19 FF30 GG02 GG59 5D015 DD02 KK02

Claims (2)

【特許請求の範囲】
1. 【請求項１】 ビデオカメラで撮像した画像により、対
   象領域に侵入した物体を監視するようにした画像監視装
   置において、 水平面内で異なる方位に向けて配置した複数のマイクロ
   ホンにより検出される音データの解析により、音源の方
   位を特定する手段を設け、 前記ビデオカメラの撮像方向が、前記手段により特定し
   た方位に自動的に制御するように構成したことを特徴と
   する画像監視装置。
2. 【請求項２】 請求項１に記載の発明において、 前記マイクロホンで検出された音データを音声認識し、
   文字コードデータに変換する手段が設けられていること
   を特徴とする画像監視装置。