JP2000354238A - 画像監視システム - Google Patents

Abstract

(57)【要約】 【課題】 監視画像を通信路を用いて、遠隔地に効率よ
く伝送し、且つ監視可能な画像監視システムを提供す
る。 【解決手段】 送信端末装置と受信端末装置からな
り、前記送信端末装置の撮像装置部から取り込む取り込
み画像サイズ１１を前記受信端末装置に送信する送信画
像サイズ１５より大きくした画像監視システムにおい
て、前記送信端末装置の撮像装置部１から取り込まれた
画像は、過去の画像とブロック単位で比較して、前記両
画像のブロック間で変化を検出した場合には、画面内の
そのブロックの変化位置を含んだ画像を切り出し、切り
出した切り出し画像サイズを前記送信画像サイズの大き
さにダウンコンバートし、符号化して、前記受信端末装
置に送出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】監視画像を通信路を用いて、
遠隔地に効率よく伝送し、且つ監視可能な画像監視シス
テムを提供する。

【０００２】

【従来の技術】従来の画像監視システムでは、監視画像
を通信回線で送る場合、送信端末装置側では撮像装置に
ズーム機構、パン、チルト機構を設け、画角の拡大、縮
小、または撮像方向の角度を変化させて画像を圧縮して
送出していた。また、従来の画像監視システムでは、複
数の撮像装置を切り替えて１つの通信路を使用したり、
通信路を複数使用し、複数の角度から撮像した画像を同
時に圧縮して送出していた。

【０００３】

【発明が解決しようとする課題】前記従来の画像監視シ
ステムにおいて、異常時に撮像装置の角度を変えたり、
複数の撮像装置（カメラ）を切り替えたりするには、監
視員によって、撮像装置へ指示するか、それなりの指
示、切替え機構を設ける必要があった。また、複数の撮
像装置を複数の通信回線で送る場合には受信側の画像品
質は良いものの、監視員が同時に監視する画像が複数と
なったり、通信回線の使用コストが大きくなったりす
る。さらに１つの通信路で広域を監視する場合には、画
像の解像度が不足してしまい、人物の顔等の認識、判別
が難しかった。

【０００４】

【課題を解決するための手段】この課題を解決するた
め、本願の請求項１の発明は、通信路を介して接続され
た送信端末装置と受信端末装置からなり、前記送信端末
装置の撮像装置部から取り込む取り込み画像サイズを前
記受信端末装置に送信する送信画像サイズより大きくし
た画像監視システムであって、前記送信端末装置の撮像
装置部から取り込まれた画像は、蓄積されている過去の
画像とブロック単位で比較して、前記両画像のブロック
間で変化を検出した場合には、画面内のそのブロックの
変化位置を含んだ画像を切り出し、切り出した切り出し
画像サイズを前記送信画像サイズの大きさにダウンコン
バートし、所定の符号化レートで符号化して、前記受信
端末装置に送出することを特徴とする画像監視システム
を提供し、請求項２の発明は、請求項１に記載された画
像監視システムにおいて、前記送信端末装置の撮像装置
部の画像から切り出した前記切り出し画像サイズの切り
替えは、面内符号化（Ｉフレーム）と同期させて、前記
切り出し画像サイズを切り替えることを特徴とする画像
監視システムを提供し、請求項３の発明は、請求項１に
記載された画像監視システムにおいて、前記送信端末装
置で検出した変化点の数と位置を調査し、前記変化点の
数が少なく、位置が限定されている場合は、その位置を
中心として画像の切り出しサイズの変更を行い、前記変
化点の数が多く、しかも画面全体に分布している場合に
は、前記の切り出し位置と切り出しサイズの変更は行わ
ないようにすることを特徴とする画像監視システムを提
供する。

【０００５】本発明は、遠隔画像監視システムにおい
て、特に通信容量の少ない回線で、圧縮画像サイズを一
定にさせたまま、広い空間を効率良く監視する場合、空
間解像度を変化させて圧縮画像信号を送る。通常時に
は、撮像装置の画角をそのまま小さな圧縮画像サイズに
ダウンコンバートし、画像圧縮して受信端末側に送信す
る。

【０００６】異常時には、前記撮像装置からの切り出し
画角を変化させ、圧縮画像サイズにダウンコンバートし
て圧縮し、受信端末側に送信する。そのため、通常時に
は監視領域全体を監視し、異常時には細かい絵柄で異常
状態を監視可能な遠隔画像監視システムである。

【０００７】

【発明の実施の形態】図１及び図２に本発明の画像監視
システムの一実施例のブロック図を示す。図１は本発明
の画像監視システムの一実施例の送信端末装置１０を示
したものである。図１に示される画像送信端末装置１０
の一実施例は、撮像装置部１、画像圧縮部２、圧縮画像
蓄積部３、信号送出部４及び通信路５より構成されてい
る。

【０００８】撮像装置部１は高解像度のハイビジョンカ
メラであり、その出力信号は、画像圧縮部２で取り込み
画像として１９２０×１０８０の画像サイズでデイジタ
ル化される。その画像サイズを、たとえば３５２×２４
０の送信画像サイズに変換して圧縮し、その送信画像を
圧縮画像蓄積部３に蓄積すると共に、信号送出部４を介
して通信路５である公衆回線網に送出する。

【０００９】この場合、画像圧縮部２は、撮像装置部１
からの画像データを全画面について、輝度変化の検出、
動き検出を行い、変化量とその位置に応じて、切り出し
画像サイズとその切り出し中心位置を決定し、送信画像
サイズの大きさに、フィルター（図示せず。）を用いて
ダウンコンバートし、画像圧縮を行なう。

【００１０】図２は本発明の画像監視システムの画像受
信端末装置２０の一実施例を示したものである。図２に
示される画像受信端末装置２０の一実施例は、通信路
５、信号受信部６、受信画像処理部７、受信画像蓄積部
８及び画像表示部９より構成されている。

【００１１】図２に示される公衆回線網５から信号受信
部６にて画像信号を受け取り、受信画像処理部７にて処
理した信号を受信画像蓄積部８に蓄積すると共に、圧縮
信号を復号し画像表示のための処理を行い、画像表示部
９に表示する。監視員は撮像装置部１からの切り出し画
像位置を指定したり、移動させたりして監視することも
出来る。

【００１２】このようにして、通常時には広い画角で監
視領域全体を監視し、異常時には特定の監視領域を高い
解像度で監視することが出来、監視者の目的に合致した
効率的な監視が出来、且つ伝送容量の低い通信回線で監
視出来る画像監視システムを提供する。

【００１３】本発明の画像監視システムの一実施例につ
いて、更に図と共に詳細に説明する。まず、図１に示さ
れる本発明の画像監視システムの画像送信端末装置側の
一実施例について説明する。本発明は比較的動きの少な
い監視環境に適するものである。図１の送信端末装置１
０の撮像装置部１は高画質な監視用ハイビジョンビデオ
カメラを設置した実施例である。撮像装置部１としての
監視用ハイビジョンビジョンカメラで撮影されたビデオ
信号は、画像圧縮部２においてディジタル信号に変換さ
れて画像圧縮を行なう。

【００１４】ハイビジョン画像を圧縮し、ある程度の画
質を得ようとするとその符号化レートは２０Ｍｂｐｓ〜
５０Ｍｂｐｓ必要となり、非常に太い通信容量の回線が
必要となり、回線維持費が膨大となる。回線維持費を削
減するため、通信回線の容量を少なくし、本発明では
１．２Ｍｂｐｓの回線容量を確保した。

【００１５】この通信容量である程度の画質を得るに
は、動画像を間欠的（例えば１フレーム／秒）に送出す
るか、圧縮画像サイズを小さくする必要がある。本発明
では圧縮画像サイズを３５２×２４０画素と小さくし、
１．２Ｍｂｐｓの符号化レートで伝送する。画像圧縮方
式としてＭＰＥＧ１（ ISO/IEC11172-2 ）の画像符号化
方式を用いた。

【００１６】図３は監視用ハイビジョンビデオカメラの
画像サイズと３種類の切り出し画像サイズと送信（転送
用圧縮）画像サイズとを示したものです。撮像装置部１
の監視用ハイビジョンカメラからの信号を、水平１９２
０画素×垂直１０８０画素よりなる図３に示す取り込み
画像サイズ１１にディジタル変換する。

【００１７】図３に示す圧縮画像サイズ１5は水平３５
２画素×垂直２４０画素である。監視用ハイビジョンカ
メラからの図３に示す取り込み画像サイズ１１から切り
出される、切り出し画像サイズ１２（１４０８×９６
０）、切り出し画像サイズ１３（７０４×４８０）、及
び切り出し画像サイズ１４（３５２×２４０）の３種類
の相似形の画像サイズを決定する。切り出し画像サイズ
は３種類のみではなく、増やせば増やすほど、監視画像
は画角の変化時がよりスムーズで見やすい表示が出来
る。

【００１８】なお、切り出し画像サイズ１２〜１４及
び、送信画像サイズ１５の縦横比は受信端末装置２０の
画像表示部９のモニタ画面の縦横比と一致させると効率
が良いので、受信端末装置２０の画像表示部９のモニタ
画面が３：４ではなく、９：１６の場合には、送信端末
装置１０の切り出し画像サイズ、送信画像サイズも９：
１６に変更して効率を上げてもよい。

【００１９】つぎに、本発明の画像監視システムの一実
施例の画像圧縮部２について、図４と共に説明する。図
４に示される本発明の画像監視システムの一実施例の画
像圧縮部２は、現画像メモリ５２、参照画像メモリ５
３、動き検出部５４、差分積算演算器５６、切り出し画
像サイズと位置決め器５７、画像コンバータ５８、差分
演算器６０、予測画像メモリ６１、ＤＣＴ演算器６２、
量子化器６３、逆量子化器６５、逆ＤＣＴ演算器６６及
び加算器６７より構成されている。

【００２０】図１に示される撮像装置部１の監視用ハイ
ビジョンカメラの画像信号は、図４に示されるディジタ
ル変換されて監視用ハイビジョンカメラの取り込み画像
入力５１となる。その取り込み画像入力５１は現画像メ
モリ５２に供給され、一連の演算が終了後、つぎのフレ
ームを演算するときにはメモリ面が切り替わり、参照メ
モリ５３となる。すなわち、参照画像メモリ５３には過
去の画像が蓄積されていることになる。

【００２１】まず、現画像メモリ５２、参照画像メモリ
５３の両画像はＭＰＥＧ１方式に従い、１６×１６画素
単位でマクロブロックに分割され、さらにその中を８×
８画素単位の４個のブロックに分割される。

【００２２】現画像メモリ５２の画像と参照画像メモリ
５３の画像の同じ位置のデータは各マクロブロック単位
で差分積算演算器５６に供給され、輝度値の差分を取
り、積算してマクロブロック差分積算データ５９を求め
る。

【００２３】また、現画像メモリ５２の画像はマクロブ
ロック単位で参照画像メモリ５３の画像と動き検出器５
４にて動き検出を行い、動きベクトル５５を演算する。
これらのマクロブロック差分積算データ５９、動きベク
トル５５の値は、切り出し画像サイズと位置を決定する
切り出し画像サイズと位置決め器５７に供給される。

【００２４】マクロブロック差分積算データ５９の値が
約５秒間、閾値以下が継続した場合には切り出し画像サ
イズは最大の大きさである図３に示される画像サイズ１
２（１４０８×９６０）とする。切り出し位置は監視用
ハイビジョンカメラの取り込み画像のほぼ中央とする。

【００２５】もつとも、この切り出し位置は予め設定出
来、画面内の一番重要な場所である扉とか、品物の置き
場所を指定して切り出し位置の中央に置くことも出来
る。マクロブロック差分積算データ５９の値が閾値以上
の場合は、その閾値以上の変加点の数と位置を調べる。

【００２６】ここで、閾値以上の変化点の数が多く、し
かも画面全体に分布している場合は、気象変化または電
灯の点灯の場合と認識し、切り出し位置と切り出しサイ
ズの変更を行わない。

【００２７】変化点の数が少なく、変化点の存在する位
置が限定されている場合は、その限定された位置を中心
として画像の切り出しを行う。その時、前の切り出し画
像サイズが最大である画像サイズ１２の時は、次に切り
出す画像サイズは切り出しサイズ１３（７０４×４８
０）とする。

【００２８】さらに、マクロブロック差分積算データ５
９が０．５秒間連続して閾値以上の場合には、切り出し
画像サイズ１４（３５２×２４０）とする。画像切り出
しサイズの切り替えに０．５秒と時間設定をしたのは、
あまりめまぐるしく切り替えを行うと監視員に目の疲れ
起こさせるからであり、同時に、符号化効率を極端に低
下させないためである。

【００２９】切り出し画像サイズを切り替えた時には過
去の画像との相関が少なく、多くの符号を発生するから
である。なお、動きベクトル５５の動きベクトル量から
画像切り替え位置を変化させる場合には、時間設定の条
件はなく検出後直ちに行う。

【００３０】マクロブロック差分積算データ５９の値が
閾値以上となるマクロブロックが、画面内の複数の位置
に存在した場合には、それら全部を含むように切り出し
画像サイズを決定する。このようにして、切り出し画像
サイズと位置決め器５７によって決定された画像サイズ
と切り出し位置の出力信号は、画像コンバータ５８に供
給される。

【００３１】画像コンバータ５８にて切り出し画像サイ
ズに切り出され、切り出し画像に対しフィルター（図示
せず。）がかけられて、圧縮画像サイズ１５（水平３５
２画素×垂直２４０画素）の大きさにダウンコンバート
される。

【００３２】図５は本発明で使用される圧縮送信画像信
号の配列の一実施例について図示したものである。過去
の画像との予測を行なわずに圧縮する面内符号のＩフレ
ーム７１と、予測を使って圧縮するフレーム間符号があ
り、過去の画像からのみ予測する片方向予測のＰフレー
ム７２と過去と次の時間画像（フレームメモリを複数個
使う）との両方から予測する両方向予測のＢフレーム７
３とがある。

【００３３】そして、約０．５秒間隔毎に面内符号を行
い、誤りの伝播を最大でも０．５秒以内に収まるように
すると共に、蓄積画像の早送り再生とか逆戻し再生（リ
バース再生）などの特殊再生時には、面内符号であるＩ
フレーム７１のみを再生する。切り取り画像サイズの切
り替えは、この面内符号（Ｉフレーム７１）と同期させ
て、切り出し画像サイズを切り替えるようにする。

【００３４】画像コンバータ５８の出力と予測画像メモ
リ６１の出力とが供給される差分演算器６０は、８×８
画素単位（ブロック）に演算を行なう。取り込み画像サ
イズが切り替わった時には、面内符号化を行なうため、
過去の画像との差分演算を差分演算器６０は行なわず
に、入力データをそのままＤＣＴ演算器６２に渡す。

【００３５】それ以外の予測符号化の時には、予測画像
メモリ６１に記憶されてある以前に圧縮して送信した過
去の送信画像から、動きベクトル５５による動きベクト
ル量だけ移動した位置のデータと現画像のデータの差分
演算を差分演算器６０で行ない、その差分データをＤＣ
Ｔ演算器６２に渡す。

【００３６】この時、切り出し位置が異なった場合に
は、現画像は予測画像メモリ６１に存在する過去の画像
と重ならない領域が存在する。その重ならない領域は過
去の画像を持たないもの、差分演算の結果は現画像のも
のとして演算を行なうために、圧縮した時の符号量はそ
れだけ増大する。

【００３７】そのため、予測画像メモリ６１のサイズと
して圧縮伝送する画像サイズ１５（３５２×２４０）で
はなく、監視用ハイビジョンカメラの画像サイズ１１
（１９８０×１０８０）を有し、切り出し画像の位置が
変化しても予測画像は過去に予測したハイビジョン画像
の対応する位置の画像を使用して、符号化効率を高める
ことも出来る。この場合には、所定のＩフレーム圧縮伝
送時間を設定し、そのＩフレーム圧縮伝送時には、ハイ
ビジョンカメラの画像全域に渡ったデータを圧縮伝送す
る。

【００３８】ＤＣＴ演算器６２は入力データをＤＣＴ演
算し、量子化器６３で符号化レートに応じて量子化し、
圧縮データ出力６４とすると共に、逆量子化器６５にて
逆量子化し、逆ＤＣＴ変換器６６で逆ＤＣＴ化し、先に
差分演算器６０に送ったデータを加算器６７にて加算
し、復号画像を作成し、予測画像メモリ６１に蓄積す
る。

【００３９】圧縮データ出力６４は動きベクトル５５と
共にランレングス符号化されて、図１の信号送出部４に
送られると共に、圧縮画像蓄積部３に蓄積される。信号
送出部４は送られてきた圧縮データをパケット化して通
信路（通信回線）５に送出する。

【００４０】図２の画像監視システムの画像受信装置２
０では、通信路５からデータを信号受信部６にて受信
し、パケット化データを圧縮データに戻す。受信画像処
理部７は圧縮データをそのまま受信画像蓄積部８に蓄積
すると共に、圧縮データを復号する。その過程はランレ
ングス符号化されたデータを解き、逆量子化と逆ＤＣＴ
化して予測画像に加算するものである。それは送信側装
置の画像圧縮部２の一部分を使うことと同じである。

【００４１】図４の逆量子化器６５を用いて逆量子化
し、逆ＤＣＴ器６６にて逆ＤＣＴ化し、そのデータと予
測画像メモリ６１に蓄えられた過去の復号画像から動き
ベクトル分移動させた画像とを加算器６７を用いて加算
し、復号画像を得る。その復号画像を画像表示部９にて
表示する。

【００４２】また、受信画像処理部７は監視画像の全体
の管理も行ない、切り取り画像の大きさと位置を監視員
が送信側に指定して変更したり、過去の画像との輝度変
化と動き検出がある閾値以上の場合には、送信端末装置
１０に警報を自動的に発生させるよう設定することも出
来る。

【００４３】本発明では監視用カメラをハイビジョンカ
メラとしたが、現在多く使われている７０４×４８０画
素サイズの通常のＮＴＳＣカメラを使っても同様なこと
が出来る。

【００４４】また、送信画像サイズである圧縮画像サイ
ズを３５２×４８０としたが、７０４×４８０の大きさ
でも実現させることが出来る。その場合には高画質を得
るために通信回線の容量をそれだけ増加させる必要があ
る。

【００４５】あるいは、通信回線をＩＳＤＮを使用して
６４Ｋｂｐｓと低い容量を使用する場合には、フレーム
間引きを行なったり、圧縮画像サイズを更に小さくして
送信する。

【００４６】

【発明の効果】本発明の画像監視システムによると、広
い領域を監視する撮像装置の画像を、１つの通信路に低
い伝送速度で且つ画像品質良く伝送する場合、通常時に
は広域空間を低い解像度で圧縮伝送し、動きを認めた場
合には自動、または監視センターの指示により、広域空
間の撮像画像から、予め定められ画素サイズに、切り出
して圧縮することで、通信回線の容量が少なくても比較
的監視対象範囲を拡大でき、異常時にも物体識別の容易
な画像監視システムが実現出来る。

【００４７】また、本発明の画像監視システムによる
と、従来のように撮像装置にズーム機構、パン、チルト
機構を設け、画角の拡大、縮小、または撮像方向の角度
を機械的手法で変化させなくてよく、電気的に画像を切
り出し選択するだけでよいので、低コストで製作可能で
あり、異常時の物体識別を素早く行なうことが出来得、
且つ非常に動作の安定した、画像監視システムを構築す
ることが出来る。

【００４８】本発明の画像監視システムによると、送信
端末装置で検出した変化点の数と位置を調べ、前記変化
点の数が少なく、位置が限定されている場合は、その位
置を中心として画像の切り出しサイズの変更を行い、前
記変化点の数が多く、しかも画面全体に分布している場
合は、切り出し位置と切り出しサイズの変更は行わない
ようにしているので、気象変化または電灯の点灯の場合
にも機械的に検出してしまうミス検出を事前に防止する
ことが出来る。

【図面の簡単な説明】

【図１】本発明の画像監視システムの画像送信装置の一
実施例のブロック構成図を示す。

【図２】本発明の画像監視システムの画像受信装置の一
実施例のブロック構成図を示す。

【図３】本発明の画像監視システムで使用される画像サ
イズの一実施例を示す。

【図４】本発明の画像監視システムの送信端末装置の画
像圧縮部２の一実施例の構成図を示す。

【図５】本発明の画像監視システムの送信端末装置から
の送信画像信号の一実施例を示す。

【符号の説明】

１ 撮像装置部（ハイビジョンカメラ、ＮＴＳＣカメ
ラ） ２ 画像圧縮部 ３ 圧縮画像蓄積部 ４ 信号送出部 ５ 通信路 ６ 信号受信部 ７ 受信画像処理部 ８ 受信画像蓄積部 ９ 画像表示部 １０ 送信端末装置 １１ 監視用ハイビジョンカメラの取り込み画像サイズ
（水平１９２０画素×垂直１０８０画素） １２ 切り出し画像サイズ（１４０８×９６０） １３ 切り出し画像サイズ（７０４×４８０） １４ 切り出し画像サイズ（３５２×２４０） １５ 送信画像サイズ（３５２×２４０） ２０ 受信端末装置 ５１ 取り込み画像入力 ５２ 現画像メモリ ５３ 参照画像メモリ ５４ 動き検出部 ５５ 動きベクトル ５６ 差分積算演算器 ５７ 切り出し画像サイズと位置決め器 ５８ 画像コンバータ ５９ マイクロブロック差分積算データ ６０ 差分演算器 ６１ 予測画像メモリ ６２ ＤＣＴ演算器 ６３ 量子化器 ６４ 圧縮データ出力 ６５ 逆量子化器 ６６ 逆ＤＣＴ演算器 ６７ 加算器 ７１ 過去の画像との予測を行わずに圧縮する面内符号
Ｉフレーム ７２ 過去の画像からのみ予測する片方向予測Ｐフレー
ム ７３ 過去と次の時間画像との両方から予測する両方向
予測Ｂフレーム

Claims (3)

【特許請求の範囲】
1. 【請求項１】通信路を介して接続された送信端末装置と
   受信端末装置からなり、前記送信端末装置の撮像装置部
   から取り込む取り込み画像サイズを前記受信端末装置に
   送信する送信画像サイズより大きくした画像監視システ
   ムであって、 前記送信端末装置の撮像装置部から取り込まれた画像
   は、蓄積されている過去の画像とブロック単位で比較し
   て、前記両画像のブロック間で変化を検出した場合に
   は、画面内のそのブロックの変化位置を含んだ画像を切
   り出し、 切り出した切り出し画像サイズを前記送信画像サイズの
   大きさにダウンコンバートし、 所定の符号化レートで符号化して、前記受信端末装置に
   送出することを特徴とする画像監視システム。
2. 【請求項２】請求項１に記載された画像監視システムに
   おいて、 前記送信端末装置の撮像装置部の画像から切り出した前
   記切り出し画像サイズの切り替えは、 面内符号化（Ｉフレーム）と同期させて、前記切り出し
   画像サイズを切り替えることを特徴とする画像監視シス
   テム。
3. 【請求項３】請求項１に記載された画像監視システムに
   おいて、 前記送信端末装置で検出した変化点の数と位置を調査
   し、 前記変化点の数が少なく、位置が限定されている場合
   は、その位置を中心として画像の切り出しサイズの変更
   を行い、 前記変化点の数が多く、しかも画面全体に分布している
   場合には、前記の切り出し位置と切り出しサイズの変更
   は行わないようにすることを特徴とする画像監視システ
   ム。