JP2000032434A - 撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】 監視対象に変化が発生した時のみ差分アルゴ
リズムを作動して、効率的かつ経済的に監視対象の画像
における差分情報を取得し得る撮像装置を提供する。 【解決手段】 マイクロフォン１〜４が音声を検知する
と、この音声信号は突発音認識部５に入力され、残響お
よび雑音が除去されてから、定位確定部５５で分析さ
れ、音源位置が特定され、これにより差分アルゴリズム
が起動され、カメラ１５で撮像したこの時点の画像デー
タのうち、音源位置に対応する部分およびその周辺の画
像データを特定し、この特定した部分画像データをメモ
リ１３に予め格納している原画像データと比較し、差分
情報を抽出してメモリ１３に格納する。また、音声信号
は定位確定部５５から音声コーデック７で符号化されて
メモリ１３に格納される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、監視対象の変化を
検出すべく監視対象を撮像し続ける撮像装置に関し、更
に詳しくは、監視対象を撮像して取り込んだ監視対象の
画像情報をデジタル化して得られる１画面分の画像デー
タを予め取得してある監視対象の原画像データと比較し
て差分情報を生成する差分アルゴリズムを有し、該差分
アルゴリズムで監視対象の変化を検出する撮像装置に関
する。

【０００２】

【従来の技術】この種の撮像装置は、例えば倉庫、工場
等の種々の特定の場所の監視、ドアの開閉監視等を行う
ためにそれぞれの監視対象をカメラで撮像し、この撮像
された画像を観察して監視対象の変化を検出するもので
あるが、このような監視のために監視対象を連続的に撮
像する代わりに所定の周期で監視対象の変化を検出して
差分情報として抽出する差分アルゴリズムを備えてい
る。

【０００３】このような撮像装置では、デジタル的に取
り込んだ監視対象の画像データを予め取り込んである監
視対象の原画像データと所定の周期で比較して、差分情
報を抽出し、この差分情報により監視対象の変化を検出
する差分アルゴリズムを所定の周期毎に繰り返し実施し
ている。

【０００４】

【発明が解決しようとする課題】上述したように、監視
対象の変化を検出するために差分アルゴリズムを有する
撮像装置では、監視対象の変化が例えばドアの開閉、人
の侵入、火災の発生等のように予め明らかなものである
場合にも、これらの変化に関係なく、所定の周期で差分
アルゴリズムを繰り返し行っているため、監視対象の変
化が発生しない場合にも差分アルゴリズムが繰り返し行
われている。しかしながら、このように監視対象に変化
が発生しない場合における差分アルゴリズムの動作は無
駄な動作であり、消費電力を無駄に発生し、非経済的で
あるという問題がある。

【０００５】本発明は、上記に鑑みてなされたもので、
その目的とするところは、監視対象に変化が発生した時
のみ差分アルゴリズムを作動して、効率的かつ経済的に
監視対象の画像における差分情報を取得し得る撮像装置
を提供することにある。

【０００６】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の本発明は、監視対象を撮像して取り
込んだ画像情報をデジタル化して得られる１画面分の画
像データを予め取得してある監視対象の原画像データと
比較して差分情報を生成する差分アルゴリズムを実施す
る差分抽出手段を有する撮像装置であって、前記監視対
象における変化を検出する検出手段と、該検出手段が監
視対象の変化を検出した場合、前記差分抽出手段を駆動
して差分アルゴリズムを実施させ、差分情報を生成させ
るように制御する制御手段とを有することを要旨とす
る。

【０００７】請求項１記載の本発明にあっては、検出手
段が監視対象の変化を検出した場合、差分抽出手段を駆
動して差分アルゴリズムを実施させ、監視対象の画像デ
ータにおける原画像データとの差分情報を生成させるた
め、従来のように差分アルゴリズムを所定の周期で繰り
返し行う必要がなく、監視対象における変化時のみ差分
アルゴリズムを作動させればよく、消費電力を低減する
ことができ、経済化および効率化を図ることができる。

【０００８】また、請求項２記載の本発明は、請求項１
記載の発明において、前記検出手段が、前記監視対象か
ら発生する所定レベル以上の突発音を前記変化として検
知する音検知手段を有することを要旨とする。

【０００９】請求項２記載の本発明にあっては、音検知
手段により監視対象から発生する所定レベル以上の突発
音を監視対象における変化として検知するため、この突
発音を検出した時のみ、差分アルゴリズムを作動して、
効率的かつ経済的に監視対象を監視することができる。

【００１０】更に、請求項３記載の本発明は、請求項１
記載の発明において、前記検出手段が、前記監視対象か
ら発生する音声を含む音のレベルをそれぞれ検知すると
ともに、その音源の位置を検出し得るように監視対象に
対して配置された複数の音検知手段を有し、前記差分抽
出手段が、前記複数の音検知手段でそれぞれ検知した複
数の音レベルに基づいて前記音源の位置を検出し、この
検出位置に基づいて前記１画面分の画像データ中で変化
した部分を特定する変化部分特定手段と、該変化部分特
定手段で特定された部分およびその周辺のみの差分情報
を抽出する部分抽出手段とを有することを要旨とする。

【００１１】請求項３記載の本発明にあっては、監視対
象に対して複数配置された音検知手段でそれぞれ検出し
た複数の音レベルに基づいて音源の位置を検出し、この
検出位置に基づいて１画面分の画像データ中の変化部分
を特定し、この特定した部分およびその周辺のみの差分
情報を抽出するため、例えば会議等において音声の発生
位置から発言者を特定した場合のみ、該発言者の画像の
みを差分情報として抽出し表示することができ、効率化
かつ経済化を図ることができる。

【００１２】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態について説明する。図１は、本発明の一実施形態
に係る撮像装置の構成を示すブロック図である。同図に
示す撮像装置は、例えば図２（ａ）に示すように会議を
行っている複数の人物を撮像して表示している場合にお
いて発言者からの音声を検出する複数チャネル（本実施
形態では４チャネル）のマイクロフォン１，２，３，４
を有する。これらのマイクロフォン１〜４は、図２
（ａ）に示すように会議を行う会議室の例えば４隅等の
適当な位置、具体的には発言者の音声を検知し、この検
知した音レベルに基づいて音源である発言者の位置を特
定し得るように適当な位置に配置されているとともに、
常時会議室内に発生する音を検知し得るように設定され
る。

【００１３】マイクロフォン１〜４で検出された音声信
号は、突発音認識部（ＤＳＰ：Digital Signal Process
or）５に供給され、ここで音源位置、すなわち発言者の
位置が特定される。具体的には、突発音認識部５は、室
内残響除去部５１、周囲雑音除去部５３、および定位確
定部５５で構成され、マイクロフォン１〜４からの音声
は、まず室内残響除去部５１に供給され、ここで音声に
混在している室内残響を除去され、それから周囲雑音除
去部５３に供給されて、音声に混在している周囲雑音を
除去されてから、定位確定部５５に入力される。

【００１４】定位確定部５５は、上述したように室内残
響および周囲雑音を除去された音声信号の音レベルから
例えば図２（ｂ）に示すような会議室における音レベル
の分布を示す音場情報を作成し、この音場情報の形状か
ら発言者の位置である定位を特定し、この特定した発言
者の位置情報をＣＰＵ１１に通知するとともに、発言者
の音声信号を音声コーデック７に供給して符号化する。
この符号化された発言者の音声信号はＣＰＵ１１の制御
によりバス９を介してメモリ１３に格納される。

【００１５】また、図１の撮像装置は、監視対象である
会議者を含む会議室内を撮像するカメラ１５を有し、こ
のカメラ１５で撮像された会議室内の画像情報はビデオ
デコーダ１７を介してデジタル化され、画像データとし
て画像メモリ１９に格納され、それからＣＰＵ１１の制
御によりバス９を介してメモリ１３に格納されるように
なっている。なお、カメラ１５は、会議室内を全体的に
撮像し得るように会議室の隅等に配置されることが好ま
しい。

【００１６】更に、撮像装置のバス９は、通信インタフ
ェース２１を介してネットワーク２３に接続されている
が、これは後述するようにＣＰＵ１１がメモリ１３に格
納された画像データに対して差分アルゴリズムを実施し
て抽出された差分情報を通信インタフェース２１を介し
てネットワーク２３に送出し、会議室から離れた場所に
存在する別の会議室等に差分情報を送信するためのもの
である。

【００１７】また、図１の撮像装置は、バス９に接続さ
れたセンサ２５を有するが、このセンサ２５は、例えば
ドアの開閉を検出するマイクロスイッチやフォトインタ
ラプタ等からなるセンサ、所定のレベル以上の突発音を
検出するマイクロフォン等からなる感音センサ、熱源を
検知する赤外線センサ等のセンサ、人体の体温を検知し
て人の侵入を検出する焦電センサ等からなるセンサ、発
熱を検知するセンサ、異常な温度上昇を検知するサーミ
スタ等からなるセンサ、または昼夜を検知するＣｄＳ素
子等からなるセンサ等で構成されるものであり、このよ
うなもので構成されるセンサ２５を監視対象に対して配
設することにより監視対象の変化、例えばドアの開閉、
人の侵入、異常な温度上昇等の変化を検出し、このよう
な変化の検出に応じて差分アルゴリズムを作動させるた
めに設けられているものである。

【００１８】なお、この場合の差分アルゴリズムの作動
では、上述したカメラ１５を利用して、例えば会議室に
侵入する人物等をセンサ２５で検出した場合に、このよ
うな状況を撮像したカメラ１５からの画像情報に基づい
て差分アルゴリズムを機能させ、差分情報を抽出するよ
うにすることも可能であるが、センサ２５の各種検知機
能に応じてセンサ２５を配置する監視場所に図示しない
適当な別のカメラを配置し、このカメラで撮像した画像
情報に基づいて差分アルゴリズムを機能させるようにす
ることが好ましい。

【００１９】以上のように構成される撮像装置において
は、まず会議の参加者が揃ったが、まだ発言が行われて
いない通常時や会議開始直前等の平常時等の会議室内の
状態をカメラ１５で予め撮像し、この撮像した会議室内
の画像情報をビデオデコーダ１７を介してデジタル化し
て画像メモリ１９に蓄積し、それからＣＰＵ１１の制御
により会議室内の原画像データとしてメモリ１３に予め
格納しておく。なお、この原画像データの取得処理は、
会議が始まった後も所定の周期で繰り返し行われ、これ
により原画像データを適宜更新してメモリ１３に格納
し、例えば会議の参加者の増減等による原画像データの
変動にも対処し得るようになっている。

【００２０】また、カメラ１５は、会議が始まると、会
議室内を常時連続的に撮像し、この撮像した画像情報を
ビデオデコーダ１７でデジタル化し、１画面分毎に画像
データとして画像メモリ１９に蓄積し続ける。

【００２１】このようにして会議が始まった状態におい
て、マイクロフォン１〜４は、会議室内の音声などの突
発音を検知すべく設定され、音声を検知すると、各マイ
クロフォン１〜４で検知した４方位からの音声信号を突
発音認識部５に入力する。突発音認識部５では、入力さ
れた音声信号から室内の残響および周囲雑音をそれぞれ
室内残響除去部５１および周囲雑音除去部５３で除去
し、この残響や雑音を除去された４方位からの音声信号
を定位確定部５５で分析し、この音声の音源位置、すな
わち発言者の位置を特定し、この特定した音源の位置を
ＣＰＵ１１に通知するとともに、残響や雑音の除去され
た音声信号を音声コーデック７で符号化し、この符号化
された音声信号をＣＰＵ１１の制御によりバス９を介し
てメモリ１３に格納する。

【００２２】ＣＰＵ１１は、突発音認識部５の定位確定
部５５から音源の位置を通知されると、差分アルゴリズ
ムを起動する。すなわち、ＣＰＵ１１はこの時点におけ
る会議室内を撮像した画像データを画像メモリ１９から
読み出し、一旦メモリ１３に格納する。ＣＰＵ１１は、
この格納した画像データのうち、音源の位置に対応する
部分およびその周辺の画像データを特定し、この特定し
た音源位置に対応する部分およびその周辺の画像データ
を上述したようにメモリ１３に予め格納している原画像
データと比較し、その部分における両画像データの差分
情報を抽出する。なお、この抽出した差分情報は、複数
の会議参加者のうちの、音源位置に存在する発言者の画
像であり、この差分情報をディスプレイに供給して表示
すれば該発言者の表情等がリアルに表示され得るもので
ある。

【００２３】ＣＰＵ１１によって抽出された音源位置の
差分情報は、メモリ１３に格納されるとともに、上述し
たように音声コーデック７で符号化されてメモリ１３に
格納された音声信号とともに通信インタフェース２１を
介してネットワーク２３に送出され、更にネットワーク
２３に存在する離れた場所の別の会議室等に送信され、
差分情報により構成される発言者の表情等を別の会議室
等のディスプレイにリアルタイムで表示するとともに、
音声信号も同時にこの別の会議室等のスピーカから出力
されることになる。なお、ＣＰＵ１１によって抽出され
た音源位置の差分情報は、図示しない圧縮手段により適
当に圧縮され、それからネットワーク２３に送信される
かまたは圧縮された後、一旦メモリ１３に格納されてか
らネットワーク２３に送信されることが好ましい。な
お、差分情報をメモリ１３に格納する他に、場合によっ
ては、例えばハードディスク等に記録することもある。

【００２４】次に、図３に示すフローチャートを参照し
て、上述した作用を更に詳細に説明する。マイクロフォ
ン１〜４は、会議室内の音を収集し、この収集した音情
報を突発音認識部（ＤＳＰ）５に供給して、音源を判定
し（ステップＳ１１）、発言者の音声があるか否かをチ
ェックする（ステップＳ１３）。音声がない場合には、
最初のステップに戻るが、音声が検出された場合には、
この時点においてカメラ１５から入力されビデオデコー
ダ１７でデジタル化されて画像メモリ１９に蓄積された
１画面分の画像データをＣＰＵ１１の制御によりバス９
を介してメモリ１３に取り込む（ステップＳ１５）。

【００２５】また、突発音認識部５は、４チャネルのマ
イクロフォン１〜４で検出した４方位からの音声信号に
基づき、上述したように、該音声信号の音源の個数と位
置を確定する（ステップＳ１７）。なお、音源の個数を
確定するのは、発言者が複数存在することを想定してい
るものである。音源の個数と位置を確定すると、各音源
を１つひとつ処理するための音源処理カウンタで使用さ
れるパラメータのｎを０にリセットし（ステップＳ１
９）、最初の音源ｎ（＝０）の位置情報からカメラ１５
で撮像した画像情報の画面内の位置を特定する（ステッ
プＳ２１）。

【００２６】次に、ステップＳ１５で取り込んだ画像デ
ータのうち、ステップＳ２１で特定した画面位置、すな
わち音源位置に相当する部分およびその周辺の画像デー
タを上述したように予め取り込まれている原画像データ
と比較して、差分画像データを抽出し、この抽出した差
分画像データを圧縮する（ステップＳ２３）。また、突
発音認識部５で検出された音声信号は音声コーデック７
で符号化されてから圧縮され、このように圧縮された音
声信号とステップＳ２３で圧縮された差分画像情報はメ
モリ１３に記録される（ステップＳ２５）。

【００２７】上記処理をステップＳ１７で確定した音源
の個数分繰り返し行い（ステップＳ２７，Ｓ２９）、完
了した場合には、処理を終了するか否かをチェックし、
処理を終了しない場合には、最初のステップＳ１１に戻
り、同じ処理を繰り返し行う。

【００２８】以上のようにして、音源個数分の処理を繰
り返し行った後、メモリ１３に記録された各音源位置に
対応する圧縮差分画像データおよび圧縮音声データはＣ
ＰＵ１１の制御により通信インタフェース２１を介して
ネットワーク２３に送信され、ネットワーク２３に存在
する別の会議室等において圧縮差分画像データは例えば
発言者の表情等としてディスプレイに表示されるととも
に、圧縮音声データは発言者の音声としてスピーカから
出力される。

【００２９】なお、上記実施形態では、会議室内の音源
を検知するのに４チャネルのマイクロフォン１〜４を使
用しているが、音源を特定するためには最低３チャネル
のマイクロフォンがあればよい。

【００３０】また、上述したようにメモリ１３に記録さ
れた圧縮差分画像データおよび圧縮音声データは、会議
の記事録作成にも有効である。

【００３１】

【発明の効果】以上説明したように、本発明によれば、
監視対象の変化を検出した場合に、差分アルゴリズムを
起動して、監視対象の画像データと原画像データとの差
分情報を生成するので、従来のように差分アルゴリズム
を所定の周期で繰り返し行う必要がなく、変化時のみ差
分アルゴリズムを作動させればよいため、消費電力を低
減することができ、経済化および効率化を図ることがで
きる。

【００３２】また、本発明によれば、複数配置された音
検知手段で検出した複数の音レベルに基づいて音源の位
置を検出し、この検出位置に基づいて画像データ中の変
化部分を特定し、この特定した部分およびその周辺のみ
の差分情報を抽出するので、例えば会議等において発言
者とその周辺の画像のみを差分情報として抽出すること
ができ、従来のように全画面に対して差分処理を行う必
要がないため、差分アルゴリズムおよび画像処理を高速
化でき、次の画像処理にすぐに移行でき、動画に近い画
像を生成することができるとともに、記憶容量も低減す
ることができ、高速化、効率化および経済化を図ること
ができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る撮像装置の構成を示
すブロック図である。

【図２】図１に示す撮像装置が適用される会議室の様子
および図１の撮像装置に使用されている複数のマイクロ
フォンで検知した会議参加者の音声の音場を示す図であ
る。

【図３】図１に示す撮像装置の作用を示すフローチャー
トである。

【符号の説明】

１〜４ マイクロフォン ５ 突発音認識部 ７ 音声コーデック １３ メモリ １５ カメラ １９ 画像メモリ ２５ センサ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 熊谷 伸昭 神奈川県横浜市神奈川区守屋町３丁目12番 地 日本ビクター株式会社内 (72)発明者 岡本 義信 神奈川県横浜市神奈川区守屋町３丁目12番 地 日本ビクター株式会社内 Ｆターム(参考） 5C022 AA01 AB00 AC00 AC69 AC72 5C054 CH04 EA01 EB05 FC01 FC12 GB12 GB15 GD06 HA18 5C084 AA02 AA08 AA13 BB04 BB21 BB27 BB40 CC02 CC30 DD11 DD41 DD43 DD73 DD84 EE01 EE10 FF03 FF08 FF29 GG12 GG20 GG31 GG42 GG43 GG44 GG52 GG54 GG57 GG78 HH02 5C086 AA22 AA51 BA01 BA20 CA09 CA12 CA25 CA28 CB01 CB16 CB26 CB36 DA01 DA04 DA14 DA16 DA18 DA30 DA33 EA15 EA41 EA45 FA06 FA18 GA04 GA09

Claims (3)

【特許請求の範囲】
1. 【請求項１】 監視対象を撮像して取り込んだ画像情報
   をデジタル化して得られる１画面分の画像データを予め
   取得してある監視対象の原画像データと比較して差分情
   報を生成する差分アルゴリズムを実施する差分抽出手段
   を有する撮像装置であって、 前記監視対象における変化を検出する検出手段と、 該検出手段が監視対象の変化を検出した場合、前記差分
   抽出手段を駆動して差分アルゴリズムを実施させ、差分
   情報を生成させるように制御する制御手段とを有するこ
   とを特徴とする撮像装置。
2. 【請求項２】 前記検出手段は、前記監視対象から発生
   する所定レベル以上の突発音を前記変化として検知する
   音検知手段を有することを特徴とする請求項１記載の撮
   像装置。
3. 【請求項３】 前記検出手段は、前記監視対象から発生
   する音声を含む音のレベルをそれぞれ検知するととも
   に、その音源の位置を検出し得るように監視対象に対し
   て配置された複数の音検知手段を有し、 前記差分抽出手段は、前記複数の音検知手段でそれぞれ
   検知した複数の音レベルに基づいて前記音源の位置を検
   出し、この検出位置に基づいて前記１画面分の画像デー
   タ中で変化した部分を特定する変化部分特定手段と、該
   変化部分特定手段で特定された部分およびその周辺のみ
   の差分情報を抽出する部分抽出手段とを有することを特
   徴とする請求項１記載の撮像装置。