以下に、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態1.
図1は、本発明の実施の形態1における映像監視システムの一構成例を示す図である。図1に示されるように、実施の形態1における映像監視システム19は、監視カメラ1と、監視カメラ1の向きなどを制御する電動雲台2と、画像伝送装置7と、この画像伝送装置7に通信ケーブル9(ネットワーク)により接続された画像受信装置14と、監視カメラ1により撮影された画像を表示する監視モニター15と、監視カメラ1及び電動雲台2を制御するための操作パネル16とから構成されている。図1に示されるように、画像伝送装置7と画像受信装置14は、伝送システム18を構成している。また、監視カメラ1と電動雲台2は、撮像装置(監視カメラ装置)を構成している。実施の形態1においては、説明を簡単にするため、図1に示されるように、同一ネットワーク上に画像伝送装置7と画像受信装置14が一対一で接続されている場合を説明するが、実際の映像監視システムでは、同一ネットワーク上に画像伝送装置7及び画像受信装置14がそれぞれ複数台接続される。
図1に示されるように、画像伝送装置7は、画像圧縮回路20、通信モジュール4、CPU5、及びCPUバス6により構成される。画像圧縮回路20は、監視カメラ1より入力される画像信号をデジタル信号に変換し、この変換されたデジタル画像信号に高能率符号化を施し伝送データ量を削減する。通信モジュール4は、画像圧縮回路20により圧縮された画像データの送信、電動雲台2の向きを制御する制御信号の受信、及び監視カメラ1のズーム制御などを実施する制御信号の受信などを行う。CPU5は、監視カメラ1のズーム或いは電動雲台2の向きなどを制御する制御信号8を監視カメラ1及び電動雲台2に出力する。
図1に示されるように、画像受信装置14は、通信モジュール10、画像伸張回路21、CPU12、及びCPUバス13により構成される。通信モジュール10は、画像伝送装置7より出力される圧縮された画像データの受信、並びに、CPU12より出力される電動雲台2の制御信号及び監視カメラ1の制御信号の送信などを行う。画像伸張回路21は、画像圧縮回路20にて圧縮された画像データを伸張し元の画像データを復元する。監視カメラ1のズーム或いは電動雲台2の向きなどを制御するための操作は、操作パネル16により行われる。
図2は、図1に示される画像圧縮回路20のブロック構成図である。図2に示されるように、画像圧縮回路20は、NTSCデコーダ32、MPEG2符号回路33、JPEG符号回路34、画像圧縮制御回路35、タイムスタンプ生成回路36、TSパケット生成回路37、JPEGパケット生成回路38、TS記憶メモリ39、及びJPEGパケット記憶メモリ40により構成される。NTSCデコーダ32は、監視カメラ1より入力端子31を介して入力されたコンポジットの画像信号をデコードして、輝度信号及び2つの色差信号に変換する。MPEG2符号回路33は、NTSCデコーダ32から出力される輝度信号及び2つの色差信号に、MPEG2符号化を施す。JPEG符号回路34は、NTSCデコーダ32より出力される輝度信号及び2つの色差信号に、JPEG符号化を施す。画像圧縮制御回路35は、MPEG2符号回路33及びJPEG符号回路34を制御する。タイムスタンプ生成回路36は、MPEG2符号回路33より出力されるTSに付加するタイムスタンプを生成する。TSパケット生成回路37は、MPEG2符号回路33より出力されるTSにタイムスタンプ生成回路36で生成されたタイムスタンプ情報を付加しTSパケットを生成する。JPEGパケット生成回路38は、JPEG符号回路34より出力されるJPEG符号化の施されたデータを通信モジュールで伝送する際のパケットフォーマットに変換する。TS記憶メモリ39は、TSパケット生成回路37より出力されるTSパケットを記憶する。JPEGパケット記憶メモリ40は、JPEGパケット生成回路38で生成されたJPEGパケットを記憶する。
図3は、図1に示される画像伸張回路21のブロック構成図である。図3に示されるように、画像伸張回路21は、MPEGTSメモリ制御回路50、MPEGTS用メモリ51、MPEG2復号回路52、TV同期発生回路53、画像復号制御回路54、JPEG復号回路55、JPEG用メモリ56、JPEG用メモリ制御回路57、スイッチ58、及びNTSCエンコーダ59により構成される。MPEGTSメモリ制御回路50は、受信したTSパケットのMPEGTS用メモリ51への書き込み制御、及びMPEGTS用メモリ51からの読み出し制御を行う。また、MEPGTSメモリ制御回路50は、受信したパケットよりJPEGパケットを分離し、JPEG復号回路55へ入力するパケット分離も実施する。MPEGTS用メモリ51は、TSパケットを記憶する。MPEG2復号回路52は、MPEGTS用メモリ51より出力されるTSを復号する。TV同期発生回路53は、MPEG2復号回路52より出力される制御信号を元に出力する画像データのTV同期(水平同期信号及び垂直同期信号のタイミング)を発生する。画像復号制御回路54は、MPEG2復号回路52及びJPEG復号回路55を制御する。JPEG復号回路55は、MPEGTSメモリ制御回路50で分離されたJPEG圧縮された画像データを復号する。JPEG用メモリ56は、JPEG復号回路55で復号された1フィールド、或いは1フレームの画像データを記憶する。JPEG用メモリ制御回路57は、JPEG用メモリ56を制御する。スイッチ58は、MPEG2復号回路58より出力される画像データとJPEG用メモリ56より出力される画像データを切り換える。NTSCエンコーダ59は、スイッチ58から出力されたMPEG2復号回路58からの画像データ又はJPEG用メモリ56からの画像データをエンコードして、出力端子60を介して監視モニター15に出力する。
図4(a)乃至(c)は、通信ケーブル9を介してTSを伝送する際に発生するジッタを説明するための図である。図4(a)乃至(c)において、横軸は時間軸である。図4(a)は、画像圧縮回路20内のMPEG2符号回路33(図2)より出力されるTSの出力タイミングを示す。また、図4(a)乃至(c)においてハッチングを施したTS(0番目、5番目、及び12番目のTSパケット)は、PCRが含まれるTSとする。上述した課題を解決するための手段の欄において説明したように、MPEGTSを復号する場合、PCRを含むTSジッタは数十μs以下に抑える必要がある。しかし、通信ケーブル9では、ジッタが発生する。実施の形態1では、通信方式としてEthernetを使用した場合について説明するが、Ethenetを使用した通信方式では、一般に伝送されるパケットの優先度は対等である。従って、ネットワーク上にパケットを送出する際に他のパケットと競合した場合は、パケット送出を待たされる場合がある。また、Ethernetを使用した場合の最大伝送レートは、100BASEを使用した場合で、100Mbps程度となり、実行のスループットは、その半分程度になる。よって、図4(a)に示すようなVBR(可変ビットレート)にて符号化されたデータを伝送する場合は、データ送信の際の競合、及び入力されるTSの瞬間の伝送レートと通信ケーブル9のデータ伝送帯域の差により、図4(b)に示されるように、各TSが入力されたタイミングとは異なるタイミングで通信ケーブル9上を流れる。例えば、図4(a)に示されるように、0番目から3番目までの4つのTSが連続してMPEG2符号回路33より入力された後、しばらくTSが受信されず、その後、4番目から7番目までの4つのTSが入力され、さらにその後、8番目及び9番目の2つのTSが入力される。このように、MPEG2符号回路33から入力されるTSは、一定の間隔で入力されるとは限らない。
一方、上記課題を解決するための手段の欄で述べたように、TSには、画像圧縮回路20内のMPEG2符号回路33(図2)と画像伸張回路21内のMPEG2復号回路52(図3)との間でクロックの同期を取るため、PCRが挿入されている。このPCRは、MPEG2復号回路52で時刻の基準となるSTCの値を送信側で意図した値に設定するための情報である。従って、PCRがMPEG2復号回路52に入力されるタイミングは、送信側で意図したタイミングである必要がある。この規定はMPEG2のシステム仕様により取り決められており、PCRに関してはTSの場合少なくとも100msに1回は伝送する必要がある。更に、PCRを含むTSに関しては、そのジッタを数十μs以下(例えば、50μs)に抑える必要がある。従って、MPEG2復号回路52へは、図4(c)に示すように、各TSは入力されたTSに対して一定の遅延量で入力される必要がある。
図5は、本発明の実施の形態1における画像伝送装置7から送信されるTSパケットの構成を示す図である。実施の形態1では、188バイトのTSの先頭に、通信ケーブル9で発生するジッタを補正するため4バイトのタイムスタンプを付加し、TSパケットを構成する。
図6は、本発明の実施の形態1における画像伝送装置7から送信されるJPEGパケットの構成を示す図である。実施の形態1では、JPEGパケットを図5に示されるTSパケットと同様に、192バイトで構成する。
図7は、本発明の実施の形態1における画像受信装置7内で発生するクロックジッタによるMPEGTS用メモリ51内のMPEGTSパケットの記憶容量がどのように変化するかを説明するための図である。
以下に、図1から図7までを用いて、実施の形態1における映像監視システム19の動作を説明する。まずはじめ、通常の監視を実施している場合(監視カメラ1の向き、ズームなどの制御を行っていないとき、すなわち、監視カメラ1の撮影位置や撮影範囲などの撮影条件の変更動作を行っていないとき)の動作を説明する。監視カメラ1より撮像された監視画像は、画像伝送装置7内の画像圧縮回路20に入力される。なお、実施の形態1では、監視カメラ1からはNTSC信号(コンポジット信号)が出力されるものとして説明する。以下に、図2を用いて画像圧縮回路20の動作を説明する。入力端子31を介して入力された監視画像は、NTSCデコーダ32に入力され、輝度信号及び2つの色差信号に変換され、MPEG2符号回路33及びJPEG符号回路34に入力される。その際、NTSCデコーダ32では、入力される監視画像より水平同期信号及び垂直同期信号を分離し、この分離された水平同期信号及び垂直同期信号も、MPEG2符号回路33及びJPEG符号回路34に入力する。
また、画像圧縮制御回路35は、CPU5より出力される指令に基づき、MPEG2符号回路33及びJPEG符号回路34の制御を行う。具体的には、実施の形態1では、画像圧縮制御回路35は、MPEG2符号回路33及びJPEG符号回路34の初期化、並びに、伝送する画像データの伝送レートの設定などを行う。なお、実施の形態1においては、通常撮像時には、JPEG符号回路34による監視画像の符号化は行わない(JPEG圧縮は実施しない)ものとして説明する。
MPEG2符号回路33に入力された監視画像は、IPBモードで符号化され、TSの形式でTSパケット生成回路37に入力される。また、MPEG2符号回路33は、上記TSを出力する際、その先頭を指し示す制御信号をタイムスタンプ生成回路36に出力する。タイムスタンプ生成回路36は、画像伝送装置7内のシステムクロックを元に画像伝送装置7の基準時間を計測しており、上記TSの先頭を指し示す制御信号がMPEG2符号回路33より出力されると、その時刻(タイムスタンプ)をTSパケット生成回路37に出力する。実施の形態1では、タイムスタンプ情報は、図5に示されるように、4バイトで構成するものとする。TSパケット生成回路37は、MPEG2符号回路33より入力されるTSの先頭にタイムスタンプ生成回路36より出力されるタイプスタンプを付加し、図5に示すTSパケットを生成する。TSパケット生成回路37より出力されるTSパケットは、TS記憶メモリ39へ一旦記憶される。
一方、CPU5は、TS記憶メモリ39内に所定量のTSパケット(実施の形態1では、7TSパケットとする。)が記憶されると、それを連続してTS記憶メモリ39より読み出し、その先頭に伝送するあて先情報、パケットデータの種別(制御データ、MPEGTS、JPEGなどを識別する情報)、及びその優先順位(優先順位に関しては後述する。)などの情報を付加した後、Ethernet用のヘッダ情報を付加して通信モジュール4に送る。上記ヘッダ情報の付加されたパケットデータが入力されると、通信モジュール4は、他に競合しているパケットが無いかを確認し、もし競合しているパケットが無い場合は、入力されたパケットデータを通信ケーブル9に送出する。
次に、図3を用いて通常の監視を行っている場合の画像受信装置14(図3)の動作を説明する。通信ケーブル9を介して通信モジュール10に入力されたパケットデータは、CPU12にてヘッダ情報が確認され、パケットデータのあて先、種別などが判別される。そして、パケットデータが自分宛の制御データであった場合は、制御データを元に所定の処理を実施する。一方、パケットデータがMPEGTSであった場合は、そのデータを画像伸張回路21内のMPEGTSメモリ制御回路50に出力する。その際、MPEGTSかJPEGパケットかの識別情報も出力する。
MPEGTSメモリ制御回路50では、タイムスタンプを含むMPEGTSパケットが入力されると、このパケットをMPEGTS用メモリ51へ書き込むためのアドレスなどの制御信号を発生し、上記MPEGTSパケットをMPEGTS用メモリ51に書き込む。MPEGTS用メモリ51に記憶されたMPEGTSパケットは、MPEGTSメモリ制御回路50より出力される読み出しアドレスなどの読み出し制御信号に基づき読み出され、MPEG2復号回路52へ入力される。
以下に、MPEGTSメモリ制御回路50のMPEGTSパケット読み出し動作の詳細を説明する。MPEGTSメモリ制御回路50は、画像伝送装置7より出力される先頭のMPEGTSパケットがMPEGTS用メモリ51に記憶されると、はじめに、上記MPEGTSパケットの先頭に付加されているタイムスタンプ情報をMPEGTS用メモリ51より読み出し、その後は、MPEGTS用メモリ51内に所定量のMPEGTSパケットが記憶されるまで、MPEGTSパケットの読み出し動作を開始せず、待機する。そして、所定量のMPEGTSパケットがMPEGTS用メモリ51に記憶されると、MPEGTSメモリ制御回路50内のMPEGTSパケット読み出し制御用タイマー(図示せず)の初期値として上記先頭のMPEGTSパケットに付加されていたタイムスタンプ情報をセットすると共に、上記先頭のMPEGTSパケットをMPEGTS用メモリ51から読み出すための制御信号を生成する。上記先頭のMPEGTSパケットの読み出しが完了すると、次のMPEGTSパケットの先頭に付加されているタイムスタンプ情報を読み出す。そして、読み出し制御用タイマーの数値とMPEGTS用メモリ51から読み出されたタイムスタンプ値が一致、或いは読み出し制御用タイマー値のほうが大きい場合、MPEGTSパケットをMPEGTS用メモリ51から読み出すアドレスなどの制御信号を発生する。そして、1TS分のデータの読み出しが完了すると、次のMPEGTSパケットの先頭に付加されているタイムスタンプを読み出し、それ以降、上記要領でMPEGTSパケットのMPEGTS用メモリ51からの読み出し制御を実施する。
一般に、画像伝送装置7と画像受信装置14内の基準クロック周波数は同期していない。以下に、画像伝送装置7と画像受信装置14の基準クロックの周波数の差をクロックジッタと記す。従って、タイムスタンプ生成回路36内の基準時刻とMPEGTSメモリ制御回路50内の読み出し制御タイマーは同期しない。よって、画像受信装置14内の基準クロックの周波数が画像伝送装置7内の基準クロックより若干早かった場合は、MPEGTSメモリ制御回路50内の読み出し制御タイマーが早く進むため、何も制御しない場合はMPEGTS用メモリ51内のMPEGTSパケットの読み出しが、書き込みより若干早くなるため、MPEGTS用メモリ51はアンダーフローし、上述したTSジッタの抑圧ができなくなる。図7に、MPEGTS用メモリ51内に記憶されているMPEGTSパケットの量と時間の関係を示す。なお、図7では、説明を簡単にするために、MPEGTS用メモリ51内に記憶されているMPEGTSパケットの量が一定の割合で変化する場合(すなわち、一定のレートでMPEG2符号化が実施された場合)を示した。図7において、斜線を示した部分が上記クロックジッタによるメモリ記憶量の変化を示す。一方、画像受信装置14内の基準クロックの周波数が画像伝送装置7内の基準クロックより若干遅かった場合は、MPEGTSメモリ制御回路50内の読み出し制御タイマーが遅く進むため、何も制御しない場合はMPEGTS用メモリ51内のMPEGTSパケットの読み出しが書き込みより若干遅くなり、MPEGTS用メモリ51はオーバーフローする。
以上より、実施の形態1では、MPEGTS用メモリ51がオーバーフロー或いはアンダーフローを起こさないようにするため、MPEGTS用メモリ51内に記憶されているMPEGTSパケットの量(メモリ記憶容量)が巨視的に見て一定(例えば、1秒間の平均メモリ記憶容量がほぼ一定)になるように、MPEGTSメモリ制御回路50内の読み出し制御タイマーの時刻を定期的に補正するよう構成するものとする。具体的には、巨視的に見た上記メモリ記憶容量が増加する場合は、読み出し制御タイマーの進み方が遅いと判断してタイマー値を定期的に進めるように構成し、反対に、巨視的に見た上記メモリ記憶容量が減少する場合は、読み出し制御タイマーの進み方が早いと判断してタイマー値を定期的に戻すように構成する。上述のように、MPEGTSパケットの読み出しを制御(タイムスタンプを基準としたMPEGTSパケットの読み出し、及びメモリ記憶容量を用いた読み出し制御用タイマーの時刻制御)することにより、図4(c)に示すように、通信ケーブル9上で発生するTSジッタを吸収することができる。
上記要領により通信ケーブル9上で発生するTSジッタの吸収されたMPEGTSは、MPEG2復号回路52へ入力される。なお、MPEGTSパケットの先頭に付加されていたタイムスタンプは、MPEGTS用メモリ51より読み出される際に除去されるものとする。MPEG2復号回路52に入力されたMPEGTSは復号され、画像信号が復元される。また、TV同期発生回路53は、MPEG2復号回路52から出力される制御信号を元に画像信号の垂直同期信号及び水平同期信号を発生する。MPEG2復号回路52より出力される画像信号は、TV同期発生回路53より出力される垂直同期信号及び水平同期信号に同期して出力される。スイッチ58は、通常監視時にはMPEG2復号回路58より出力される画像信号を選択するよう構成する。よって、MPEG2復号回路52より出力される復号された画像信号は、スイッチ58を介してNTSCエンコーダに入力される。NTSCエンコーダ59は、TV同期発生回路53より出力される垂直同期信号及び水平同期信号を元に、MPEG2復号回路52より出力される画像信号をNTSC信号(コンポジット信号)に変換し出力する。NTSCエンコーダ59の出力は監視モニター15に表示される。
次に、監視カメラ1を操作する場合の動作を図1から図14までを用いて説明する。図8は、実施の形態1における各データを送信する際の優先度を示す図である。また、図9は、実施の形態1における監視カメラ1制御時の画像伝送装置7の動作を示すフローチャートであり、図10は、実施の形態1における監視カメラ1制御時の画像受信装置14の動作を示すフローチャートである。また、図11は、実施の形態1における監視カメラ1制御開始時のクロックジッタ補正動作を示すフローチャートであり、図12は、実施の形態1における監視カメラ1制御開始時のクロックジッタ補正動作を説明するための図である。さらにまた、図13は、実施の形態1における監視カメラ1制御終了時のクロックジッタ補正動作を示すフローチャートであり、図14は、実施の形態1における監視カメラ1制御終了時のクロックジッタ補正動作を説明するための図である。
以下に、監視カメラ1の制御開始時の動作を説明する。監視者が監視モニター16の画面上で不審人物を見つけ、操作パネル16を操作して監視カメラ1のパン、チルト、ズームなどの撮影条件の制御を実施する場合について説明する。まずはじめ、監視カメラ1の制御開始時の画像受信装置14の動作を説明する。監視者が操作パネル16の操作を開始すると、操作パネル16は画像受信装置14内のCPU12に操作内容を通知する。図10に示されるように、監視が開始されると、CPU12は、操作パネル16からの監視カメラ1の制御要求の入力が入るまで待機する(ステップS31)。操作パネル16から監視カメラ1の制御要求が入力されると、CPU12は監視カメラ1の制御を開始する(ステップS32)。CPU12は、監視カメラ1制御が開始されると、画像伝送装置7に監視カメラ1制御開始コマンドを送信する(ステップS33)。
実施の形態1においては、画像受信装置14は監視カメラ1制御コマンド送信後、画像伝送装置7より1フィールドのJPEG画像のデコードが完了するまで、操作パネル16より出力される制御信号を画像伝送装置7には送出しない。これは、以下の理由による。通常監視時は上述したようにMPEG2復号回路52より出力される高品質なMPEG2復号画像で監視を行う。しかし、MPEG2復号画像は、MPEG2符号、画像伝送、クロックジッタ補正、及びMPEG2復号などにより、約1秒程度遅れた画像になっている。一方、JPEG復号画像は、JPEG符号にて2フィールド、JPEG復号にて2フィールド、及び画像伝送などによる遅延が0.1秒以下となる。従って、MPEG2復号画像からJPEG復号画像に画面を切り換えた瞬間、0.9秒程度(MPEG2復号画像の遅延(約1秒)とJPEG復号画像の遅延(0.1秒以下)の差に相当する時間)監視モニター15上に表示される表示画像は一気に進む。その際、人物など動きのあるものを追従する場合、画面が切り替わった監視カメラ1の制御方向と人物の動きが異なっていた場合、操作がスムーズに行えないことがある。よって、実施の形態1では、監視モニター15上の表示画像が切り替わるまで、監視カメラ1の制御動作を画像受信装置7側でマスクする構成とする。このように構成することにより、実施の形態1においては、画像切り換え時に、監視カメラ1の操作をスムーズに行うことができるという効果がある。
1フィールド分のJPEG復号が完了(ステップS34)すると、画像受信装置14は監視モニター15に表示する監視画像をJPEG用メモリ56より出力される画像に切り換えると共に、監視者に対して監視画像が切り替わったことを通知する。具体的には、図3に示すスイッチ58をJPEG用メモリ56の出力に切り換える(ステップS35)。通知方法に関しては、監視モニター15上にその旨を通知する、或いは操作パネル16上のLEDなどを発光させるなどの方法で通知する。監視モニター15の表示画像の切り替えが終了すると、CPU12は操作パネル16から入力される監視カメラ1の制御信号を通信モジュール10へ出力する(ステップS36)。通信モジュール10は、CPU12より監視カメラ1の制御信号を受信すると、通信ケーブル9を介して画像伝送装置7へ伝送する。
次に、監視カメラ1の制御開始時の画像伝送装置7の動作を、図9を用いて説明する。監視動作を開始すると、画像受信装置7内のCPU5は、画像受信装置14より出力される監視カメラ1制御開始コマンドが受信されるまで、監視カメラ1の制御を待機する(ステップS10)。そして、この監視カメラ1制御開始コマンドが受信されると、CPU5は、まず通信モジュール4に対して各送信データの優先度を切り換えるよう指令を発行する(ステップS11)。以下に、簡単に各送信データの優先度について説明する。一般に、インターネットなどのネットワークでは、データを送信する際、どのようなデータであっても送信される優先度は平等である。従って、画像データ、或いは音声データなどのリアルタイム性を要求されるデータであっても、ネットワーク上に配信される際は、静止画像データ、或いはホームページなどのデータと同等の優先度で送信されるためリアルタイム通信を確保することは非常に難しい。一方、IPv6(Internet Protocol Version 6)などの次世代のIP規格で検討が進められており、データ送信の際の優先度制御は、上記リアルタイム性を要求されるデータと、リアルタイム性を要求されないデータを区別し、各データに優先度を付加しデータを伝送する。これにより、Ethernetなどの通信モジュール、或いは中継ルータなどで優先度の高いデータは優先的に処理され、ネットワーク上に排出される。
実施の形態1は、上述した送信データの優先度を監視カメラ1の制御時と通常監視時で変えるよう構成する。図8に実施の形態1における各送信データ(送信パケット)の優先度を示す。通常監視時は上述したがMPEGTSパケットと監視カメラ1制御用の監視カメラ1制御信号が通信ケーブル9上を流れる。その際の各パケットの優先度は、図8に示すように、監視カメラ1制御信号を一番優先順位の高い第1番に、MPEGTSパケットを次に優先度の高い第2番に、最後にJPEGパケットを優先度の低い第3番にセットする。なお、図8中の優先度は値が小さいほど優先度が高いものとする(データ送出の際に優先的にネットワーク上にデータが送出される。)。上記優先度にする理由は以下の通りである。一番優先度の高い監視カメラ1制御信号は、監視カメラ1操作時のみ出力されるので、データが通信ケーブル9上に送出される機会は少なく、また、そのデータ長も非常に短い。一方、MPEGTSパケットはリアルタイム性を要求されるが、データ長が長いため、例えば、優先度を一番高くすると、監視者から監視カメラ1の制御要求があった場合、優先度が低いため、なかなかそのパケットが画像受信装置7に送出されないような場合が発生する。特に、実施の形態1では、説明をわかりやすくするため、画像伝送装置7と画像受信装置14は一対一で接続した場合を例に説明しているが、通常の映像監視を実施する場合は、複数の画像伝送装置7と複数の画像受信装置14が同一ネットワーク上に配置される。このようなシステムでは、監視カメラ1制御信号の優先度を上げておかないと、なかなかネットワーク上に配信できない場合が発生する。また、上述したように監視カメラ1制御信号はデータ長が短いため、優先度を上げてもネットワーク負荷を圧迫しない。よって、実施の形態1では、監視カメラ1制御信号の優先度を、MPEGTSパケットの優先度より上げている。これにより、監視カメラ1制御開始コマンドの送信を速やかに行なえ、監視カメラ1の制御モードへの移行をスムーズに行うことができると共に、監視カメラ1操作時に関しても同様の優先度に設定することにより監視カメラ1の制御をスムーズに行うことができる効果がある。
次に、監視カメラ1制御時の各送信データの優先度を説明する。監視カメラ1制御時はJPEGパケット、MPEGTSパケット、及び監視カメラ1制御用の監視カメラ1制御信号が通信ケーブル9上を流れる。その際の各パケットの優先度は、図8に示すように、監視カメラ1制御信号を1番優先順位の高い第1番の優先度に、JPEGパケットを次に優先順位が次に高い第2番の優先度に、最後にMPEGTSパケットを優先順位の低い第3番の優先度にセットする。JPEGパケットは静止画像であるためリアルタイム性はあまり要求されないが、実施の形態1では、監視カメラ1制御信号の次の優先度に設定する。これは、以下の理由による。監視カメラ1制御信号の優先度を高く設定する理由は、上述したように、データ長が短く優先度を上げてもあまりネットワーク負荷を上昇させないこと、及び監視カメラ1の制御をスムーズに実施できるようにするためである。一方、JPEGパケットの優先度をMPEGTSパケットの優先度より高く設定した理由は、JPEGは静止画像ではあるが、実施の形態1では、監視カメラ1のパン、チルト、及びズーム制御を行う際、監視モニター15に表示されるJPEG復号画像を見て制御を行う。そのため、監視モニター15上へはなるべく少ない遅延量で画像データを送信する必要がある。よって、実施の形態1では、JPEGパケットの優先度を、MPEGTSパケットの優先度と比較して上げることにより、通信ケーブル9上でのJPEGパケットの遅延量を抑える構成としている。上記構成により、JPEGパケットの通信ケーブル9上での遅延量を最小限に抑えることができるので、監視モニター15上には遅延量の小さい画像を表示することができ、監視カメラ1の制御をスムーズに実施できる効果がある。
なお、実施の形態1では、図8に示す優先順位をつけたが、本発明はこれに限定されるものではない。例えば、優先度を3段階以上で設定できる場合は、通常監視時の優先度を、監視カメラ1制御信号を第1番、MPEGTSパケットの優先度を第3番、JPEGパケットの優先度を第4番に設定し、監視カメラ1制御時は監視カメラ1制御信号を第1番、JPEGパケットの優先度を第2番、MPEGTSパケットの優先度を第4番に設定してもよい。このように設定することにより、同一ネットワーク上に複数の画像伝送装置7及び画像受信装置14が配置される映像監視システムにおいても、監視カメラ1の制御を実施している画像伝送装置7及び画像受信装置14は、監視カメラ1制御時の優先度を設定し、また、通常監視を行っている画像伝送装置7及び画像受信装置14は、通常監視時の優先度を設定すれば、上述のようなネットワーク系でもJPEGパケットのネットワーク上での遅延量を最小限に抑えることができるので、監視モニター15上には遅延量の小さい画像を表示することができ、監視カメラ1の制御をスムーズに実施できる効果がある。
優先度の切り換えを終了すると、CPU5は画像圧縮制御回路35に対してJPEG符号回路34を初期化し、画像圧縮開始の制御命令を出力する(ステップS12)。CPU5よりこの制御命令が入力されると、画像圧縮制御回路35は、JPEG符号回路34の初期化を実施すると共に、入力画像の画像符号化を開始するようJPEG符号回路34にJPEG符号化開始信号を出力する。JPEG符号回路34は、このJPEG符号化開始信号が入力されると入力された画像データにJPEG符号化を施し、JPEG符号化された画像データをJPEGパケット生成回路38に出力する。また、画像圧縮制御回路35は、上記制御命令が入力されると、MPEG2符号回路33より出力される制御信号を元にイントラフレームを検出する(ステップS13)。イントラフレームを検出すると、画像圧縮制御回路35は、MPEG2符号回路33に対してMPEG2符号時の符号量(データレート)の目標値を切り換える(ステップS14)。具体的には、通常監視時に画像伝送装置7が使用していたMPEGTSの画像伝送レートと、監視カメラ1制御時のMPEGTSとJPEG圧縮画像の伝送レートの和がほぼ等しくなるよう目標値を切り換える。より具体的には、通常監視時に12Mbps程度のMPEGTSを送信していたとした場合、監視カメラ1制御時は、JPEGの伝送レートとして6Mbps程度、MPEGTSの伝送レートとして6Mbps程度として画像を伝送するものとする。
これは、以下の理由による。監視カメラ1制御時はJPEG画像を表示するのでこの画像のみを伝送した場合、画像伝送装置7と画像受信装置14のクロック同期をJPEGパケットのみで制御することはできない。これは、上述したが、監視カメラ1を制御する場合は、監視モニター15に表示する監視画像の遅延量を短くするため、画像受信装置14内にJPEGパケットを用いてクロック同期を実現する大容量のメモリなどは配置しない。同様に、監視カメラ1制御時は監視モニター15上の監視画像の画像品質よりも画像の遅延量が最小になるよう制御する必要がある。従って、JPEG圧縮画像は目標物の認識ができる程度の画像品質であればよい。よって、通信ケーブル9上でのデータ遅延量を小さくするためJPEG圧縮画像の伝送はなるべくデータ量を少なく抑えて伝送する。また、MPEGTSを同時に伝送する理由は、画像伝送装置7と画像受信装置14のクロック同期を補償するためである。なお、監視カメラ1制御時のクロックジッタ抑制に関しては後述する。なお、通常監視時及び監視カメラ1制御時の各圧縮画像データの符号量は、上述した符号量に限るものではなく、映像監視システム全体の画像伝送帯域に応じて設定すればよい。監視カメラ1制御時、上述したように画像伝送装置7を制御するので、JPEG画像送信時にも画像伝送装置7と画像受信装置14とのクロック同期を受信したMPEGTSによりとるよう構成するので、特に監視カメラ1制御モードから通常監視に切り換えた際に、監視モニター15に表示されている画像が止まるなど表示画像が乱れることなくスムーズに画面切り替えることができるという効果がある。MPEG2の符号量の目標値の切り替えを終了すると、画像受信装置14から伝送される監視カメラ1の制御信号8を電動雲台2及び監視カメラ1に出力する。
次に、監視カメラ1制御時の動作を説明する。監視カメラ1を介して入力される画像信号は、画像圧縮回路20に入力される。画像の入力端子31を介して入力された画像信号は、NTSCデコーダ32に入力され、輝度信号及び2つの色差信号に変換される。NTSCデコーダ32の出力は、MPEG2符号回路33及びJPEG符号回路34に入力される。その際、NTSCデコーダ32では、入力される監視画像より水平同期信号及び垂直同期信号を分離し、この分離された水平同期信号及び垂直同期信号もMPEG2符号回路33及びJPEG符号回路34に入力する。MPEG2符号回路33は、監視カメラ1制御時は、図9に示されるフローに従い、符号量の目標値が切り換えられ符号化が行われる。同様に、JPEG符号回路34は、監視カメラ1制御時に、入力された輝度信号及び2つの色差信号にJPEG符号化を施し出力する。
MPEG2符号回路33は、上記TSを出力する際、その先頭を指し示す制御信号をタイムスタンプ生成回路36に出力する。タイムスタンプ生成回路36は、この制御信号に基づきタイムスタンプを生成し、TSパケット生成回路36に出力する。TSパケット生成回路37は、MPEG2符号回路33より入力されるTSの先頭にタイムスタンプ生成回路36より出力されるタイプスタンプを付加し、TSパケットを生成する。TSパケット生成回路37より出力されるTSパケットは、TS記憶メモリ39へ一旦記憶される。同様に、JPEGパケット生成回路38は、JPEG符号回路34より出力されるJPEGデータを、図6に示すように192バイト集めてJPEGパケットを生成する。JPEGパケット生成回路38で生成されたJPEGパケットは、一旦JPEGパケット記憶メモリ40に記憶される。
一方、CPU5は、TS記憶メモリ39内に所定量のTSパケット(実施の形態1では、7TSパケットとする。)が記憶されると、それを連続してTS記憶メモリ39より読み出し、その先頭に伝送するあて先情報、パケットデータの種別、及びその優先度(実施の形態1では、第3番の優先度)などの情報を付加した後、Ethernet用のヘッダ情報を付加して通信モジュール4に送る。同様に、CPU5は、JPEGパケット記憶メモリ40内に所定量のJPEGパケット(実施の形態1では、3TSパケットとする。)が記憶されると、それを連続してJPEGパケット記憶メモリ40より読み出し、その先頭に伝送するあて先情報、パケットデータの種別、及びその優先度(実施の形態1では、第2番の優先度)などの情報を付加した後、Ethernet用のヘッダ情報を付加して通信モジュール4に送る。なお、実施の形態1では、通信ケーブル9に送出する伝送パケットのサイズを、MPEGTSパケットを伝送する場合とJPEGパケットを伝送する場合で異なるように構成した。これは以下の理由による。上述したように、監視カメラ1制御時には、JPEG符号化、伸張、及び伝送時の遅延量をなるべく小さく設定する必要がある。そのため、JPEGパケットは、MPEGTSと比較して1回で伝送するパケット量を小さくするよう構成した。これにより、JPEGパケット記憶メモリ40などで発生する遅延量を小さくすることができるので、監視モニター15上には遅延量の小さい画像を表示することができ、監視カメラ1の制御をスムーズに実施できる効果がある。なお、1回で伝送するパケット量を小さくすると送受信のオーバヘッドが大きくなるので、パケットサイズは映像監視システムの構成に応じて変えてもよい。
上記ヘッダ情報の付加されたMPEGTSパケット、或いはJPEGパケットデータが入力されると、通信モジュール4は、他に競合しているパケットが無いかを確認した後、もしも競合しているパケットが無い場合は、入力されたパケットデータを通信ケーブル9に送出する。その際、MPEGTSパケットとJPEGパケットの両データの送信要求があった場合は、優先度に応じた順序でパケットデータを送出する。上述したように、実施の形態1では、監視カメラ1制御時は、JPEGパケットの優先度がMPEGTSパケットより優先度より高いので、JPEGパケットを先に通信ケーブル9に送出する。
次に、監視カメラ1の制御を行っている場合の画像受信装置14の動作を説明する。通信ケーブル9を介して通信モジュール10に入力されたパケットデータは、CPU12にてヘッダ情報が確認され、パケットデータのあて先、種別などが判別される。そして、自分宛の制御データであった場合は、制御データを元に所定の処理を実施する。一方、MPEGTS、或いはJPEGパケットであった場合は、そのデータを画像伸張回路21内のMPEGTSメモリ制御回路50に出力する。その際、MPEGTSかJPEGパケットかの識別情報も出力する。
MPEGTSメモリ制御回路50は、受信したデータがMPEGTSであった場合は、通常監視の際と同様に、そのタイムスタンプを含むMPEGTSパケットをMPEGTS用メモリ51に書き込む。一方、MPEGTSメモリ制御回路50は、受信したデータがJPEGパケットであった場合は、JPEGパケットをJPEG復号回路55に入力する。以下に、JPEGパケット処理について説明する。MPEGTSメモリ制御回路50よりJPEG復号回路55にJPEGパケットが入力されると、JPEG復号回路55は、JPEG復号を施し元の画像データを復元する。JPEG復号回路55で復元された画像データは、JPEG用メモリ56に入力され1フィールドの画像データが構成される。JPEG用メモリ56への画像データの書き込み制御、及び画像データの読み出し制御は、JPEG用メモリ制御回路57で生成され出力される。具体的には、JPEG用メモリ制御回路57は、JPEG復号回路55より出力される復号画像データの垂直同期基準信号及び水平同期基準信号に基づき、上記書き込みアドレスなどの書き込み制御信号を発生すると共に、TV同期発生回路53より出力される垂直同期信号及び水平同期信号を基準に読み出し制御信号を発生する。また、画像復号制御回路54は、JPEG復号回路55より出力される1フィールド目の画像復号完了信号を用い、TV同期発生回路53より出力される垂直同期信号に同期して、スイッチ58の切り換え信号を出力する。スイッチ58より出力される画像データは、NTSCエンコーダ59でコンポジットのNTSC信号に変換され、出力端子60を介して監視モニター15に出力される。なお、NTSCエンコーダ59の動作は、通常監視時と同一である。具体的には、現在表示を行っているMPEG復号画像の1フィールド分の画像データ出力完了後、JPEG画像を出力するよう切り換える。上述のように構成することにより、MPEG2復号画像からJPEG復号画像に切り換えた場合でも、監視モニター15上の表示画像を乱すことなく切り換えることができる効果がある。
次に、MPEGTSパケットの処理を説明する。通常監視の場合と同様、監視カメラ1制御時には、MPEGTSメモリ制御回路50は、MPEGTSパケットの先頭に付加されているタイムスタンプを基準にMPEGTS用メモリ51からMPEGTSを読み出し、MPEG2復号回路52へ出力する。なお、MPEGTSメモリ制御回路50のMPEGTSパケットの書き込み動作は、上述した通常監視時の制御と同一である。また、MPEGTSメモリ制御回路50のMPEGTSパケットの読み出し制御も、通常監視制御と同一である。
以下に、監視カメラ1制御開始時のクロックジッタ制御に関して説明する。実施の形態1では、上述したように、監視カメラ1制御終了時、監視モニター15に表示される画像をスムーズに切り換えるため、MPEGTSを監視モニター15上に表示しないにもかかわらず伝送する。これは、以下の理由による。監視カメラ1の制御時もMPEGTSパケットを受信し復号することにより、監視モニター15に出力する画像信号の同期を監視カメラ1より出力される画像信号の同期に合わせて出力できると共に、画像受信装置14内の基準時刻を画像伝送装置7内の基準時刻に合わせることができる。これにより、監視カメラ1の制御終了後、監視モニター15に表示する画像をJPEG圧縮画像からMPEG2圧縮画像に切り換える際、表示画像が一時止まってしまう、或いは表示画像が乱れるなどの弊害を生じさせること無く、スムーズに表示画像を切り換えることができる効果がある。
以下に、図11及び図12を用いて監視カメラ1の制御開始時のクロックジッタ補正制御を説明する。クロックジッタ補正の制御は、通常撮像時の動作で説明したが、基本的には、MPEGTS用メモリ51内に記憶されているMPEGTSパケットの量(メモリ記憶容量)が巨視的に見て一定(例えば、1秒間の平均メモリ記憶容量がほぼ一定)になるようにMPEGTSメモリ制御回路50内の読み出し制御タイマーの時刻を定期的に補正するよう構成する。しかし、MPEGTSのデータ伝送レートが変化するとMPEGTS用メモリ51内のTSの記憶容量は、図12に示すように、通常監視時の目標値に対して、監視カメラ1制御時の目標値は小さくなる。これは、以下の理由による。画像受信装置14がMPEGTSパケットを受信してからMPEG2復号回路52に出力するまで、上述したクロックジッタの補正のため、例えば、0.3秒程度分の画像データをMPEGTS用メモリ51内に記憶し、その記憶容量がほぼ一定になるようにクロックジッタ補正制御を実施する。従って、受信したMPEGTSパケットの平均受信レートが12Mbpsから6Mbpsに変化した場合、図12に示すように、上記0.3秒間は記憶されているMPEGTSパケットは12Mbpsの平均レートでMPEGTS用メモリ51から読み出されるのに対して、書き込まれるMPEGTSパケットの平均レートは6Mbpsであるためメモリ記憶容量は減少する。従って、監視カメラ1制御開始時に上記クロックジッタ補正制御を実施するとクロック同期が外れる。よって、実施の形態1では、監視カメラ1制御開始時、クロックジッタ補正制御を止めるように構成する。
以下に、図11に示されるフローチャートを用いてクロックジッタ補正制御動作について説明する。監視カメラ1制御が開始されると、CPU12はクロック同期制御(クロックジッタ補正制御)を停止する(ステップS50)。そして、画像受信装置14に入力されるMPEGTSパケットの平均レートが監視カメラ1制御時のレートになったかを確認する(ステップS51)。そして、入力されるMPEGTSパケットの平均レートが監視カメラ1制御時の平均レート(実施の形態1では、6Mbps)になったことを確認すると、次にMPEGTS用メモリ51内のメモリ記憶容量(メモリ残量)がほぼ一定に収束したかを判断する(ステップS52)。収束していた場合、クロックジッタ補正制御目標値を現在のメモリ記憶容量に再設定する。そして、クロックジッタ補正制御を再開する。実施の形態1では、監視カメラ1制御開始時、上述のようにクロックジッタ補正制御を実施するので、MPEGTSパケットの受信レートが変化した場合であっても、クロック同期制御をはずすことなく制御することができる。よって、監視カメラ1制御開始時においても、監視モニター15に表示される表示画像を乱すことなくスムーズに表示画像の切り換え制御などを実施することができる効果がある。
次に、監視カメラ1制御終了時の動作を説明する。図10に示されるように、画像受信装置14は監視カメラ1の制御完了を検出する(ステップS37)と、画像伝送装置7に対して監視カメラ制御1終了コマンドを出力する(ステップS38)。実施の形態1では、操作パネル16より入力される監視カメラ1の制御信号を監視し所定の時間、制御信号が入力されなかった場合、監視カメラ1制御が終了したものと判断する。なお、操作パネル16より直接監視カメラ1制御終了を通知するよう構成してもよい。その後、画像復号制御回路54は、画像伝送装置7より入力されるMPEGTSパケットのイントラフレームを検出する(ステップS39)。そして、イントラフレーム検出すると、スイッチ58に対してMPEG2復号回路52の出力を選択するよう制御信号を出力する。なお、制御信号の切り換えのタイミングは、監視カメラ1制御開始時と同様に、TV同期発生回路53より出力される垂直同期信号に同期して実施する。上述のように構成することで、監視カメラ1制御終了時も、JPEG復号画像とMPEG2復号画像を監視モニター15上の表示画像を乱すことなくスムーズに切り替えを実施できる効果がある。
一方、図9に示されるように、画像伝送装置7では、上記監視カメラ1制御終了コマンドを受信すると(ステップS16)、画像圧縮制御回路35は、MPEG2符号時のイントラフレームの検出を実施する。そして、イントラフレームを検出すると、画像圧縮制御回路35は、MPEG2符号化時の目標符号量を通常監視時の目標量(実施の形態1では、12Mbps)に切り換える(ステップS18)。そして、送信データの優先度を通常監視時の優先度(図8参照)に切り換える(ステップS19)。そして、JPEG符号回路34に対してJPEG符号動作を停止するよう制御信号を出力する。
次に、監視カメラ1制御終了時の動作を説明する。監視カメラ1を介して入力される画像信号は、入力端子31を介してNTSCデコーダ32に入力され、NTSCデコーダ32で輝度信号及び2つの色差信号に変換される。その際、通常監視時と同様に、垂直同期信号及び水平同期信号の分離が実施され、出力はMPEG2符号回路33及びJPEG符号回路34に入力される。一方、画像受信装置14より通信ケーブル9を介して監視カメラ1制御終了コマンドを受信すると、CPU5は画像圧縮制御回路35に対してその旨を通知する。画像圧縮制御回路35は、監視カメラ1制御の終了が通知されると、MPEG2符号回路33より出力される情報を元にイントラフレームを検出する。イントラフレームを検出すると、画像圧縮制御回路35は、MPEG2符号化時の目標符号量を通常監視時の符号量になるようセットする。一方、CPU5は、画像圧縮制御回路35に対して監視カメラ1制御が終了したことを通知すると、次に送信時の各データの優先度を通常監視時の優先度に切り換える(図8参照)。一方、画像圧縮制御回路35は、MPEG2符号化時の目標符号量の切り換えを終了すると、次にJPEG符号回路34に対してJPEG符号動作を停止するよう制御信号を出力する。JPEG符号回路34では、この停止命令を受信すると現在符号化中の画像データの処理終了後、JPEG圧縮動作を停止する。
なお、JPEG符号回路34でのJPEG符号化終了のタイミングは、画像受信装置14内で監視モニター15への表示画像がJPEG画像からMPEG画像に切り替わったことを確認した後、JPEG符号回路34の動作を停止するように構成してもよい。また、以降のMPEG2符号回路33、タイムスタンプ生成回路36、TSパケット生成回路37、及びTS記憶メモリ39の動作、並びに、通信モジュール4の動作は、通常監視時と同一である。
次に、監視カメラ1の制御終了時の画像受信装置14の動作を説明する。操作パネル16からの制御信号の入力が所定の期間無いことを確認すると、CPU12は、監視カメラ1制御終了コマンドを通信モジュール10に出力する。通信モジュール10は、入力された監視カメラ1制御終了コマンドを画像伝送装置7に通信ケーブル9を介して出力する。上記監視カメラ1制御終了コマンドの送出を完了すると、CPU12は、画像復号制御回路54に対して監視カメラ1制御が終了したことを通知する。画像復号制御回路54は、監視カメラ1制御が終了したことを通知されると、MPEG2イントラフレームの検出を実施する。具体的には、画像復号制御回路54は、MPEG2復号回路52より出力される画像復号情報を元に、イントラフレームの検出を実施する。画像復号制御回路54は、イントラフレームを検出すると、スイッチ58の入力をMPEG2復号回路52の出力を選択するよう制御信号を出力する。なお、このスイッチ58の入力を切り換える制御信号は、TV同期発生回路53より出力される垂直同期信号に同期して出力される。そして、スイッチ58の切り替え制御が完了すると、画像復号制御回路54は、JPEG復号回路55に対して、JPEG復号動作を中止するよう制御信号を出力する。その際、JPEG用メモリ制御回路57に対しても同様に、JPEG用メモリ56の制御を中止するよう制御信号を出力する。スイッチ58より出力される復号画像データは、NTSCエンコーダに入力され、NTSCコンポジット信号として出力端子60を介して監視モニター15に出力される。
次に、監視カメラ1制御終了時のクロックジッタ制御に関して説明する。実施の形態1では、上述したが、監視カメラ1制御終了時、監視モニター15に表示される画像をスムーズに切り換えるため、MPEGTSを監視モニター15上に表示しないにもかかわらず伝送する。従って、監視カメラ1を、JPEG画像を用いて制御しているにもかかわらず上述したように、MPEGTSを用いて画像伝送装置7と画像受信装置14間のクロック同期を補償することができる。これにより、上述したように監視カメラ1の制御終了後、監視モニター15に表示する画像をJPEG圧縮画像からMPEG2圧縮画像に切り換える際、表示画像が一時止まってしまう、或いは表示画像が乱れるなどの弊害を生じさせること無く、スムーズに表示画像を切り換えることができる効果がある。
以下に、図13及び図14を用いて監視カメラ1の制御終了時のクロックジッタ補正制御動作を説明する。クロックジッタ補正の制御は、上述したように基本的には、MPEGTS用メモリ51内に記憶されているMPEGTSパケットの量(メモリ記憶容量)が巨視的に見て一定(例えば、1秒間の平均メモリ記憶容量がほぼ一定)になるようにMPEGTSメモリ制御回路50内の読み出し制御タイマーの時刻を定期的に補正するよう構成する。しかし、MPEGTSのデータ伝送レートが変化すると、MPEGTS用メモリ51内のTSの記憶容量は、図14に示すように、監視カメラ1制御時の目標値は通常監視時の目標値に対して小さくなる。これは、監視カメラ1制御開始時に説明したように、MPEGTSの伝送データレートが6Mbpsから12Mbpsに増加した場合、図14に示すように、MPEGTS用メモリ51内に記憶されている平均データレートが6MbpsのMPEGTSがすべて読み出されるまで、このMPEGTS用メモリのデータ記憶容量は増加する。従って、監視カメラ1制御終了時に上記クロックジッタ補正制御を実施すると、クロック同期が外れる。よって、実施の形態1では、監視カメラ1制御終了時も、クロックジッタ開始時と同様に、クロックジッタ補正制御を止めるように構成する。
以下に、図13に示されるフローチャートを用いてクロックジッタ補正制御動作について説明する。監視カメラ1制御の終了を検出すると、CPU12は、クロック同期制御(クロックジッタ補正制御)を停止する(ステップS60)。そして、CPU12は、監視モニター15の表示画面の切り換えを確認(ステップS61)した後、画像受信装置14に入力されるMPEGTSパケットの平均レートが通常監視時のレートになったかを確認する(ステップS62)。そして、CPU12は、入力されるMPEGTSパケットの平均レートが通常監視時の平均レート(実施の形態1では、12Mbps)になったことを確認すると、次にMPEGTS用メモリ51内のメモリ記憶容量(メモリ残量)がほぼ一定に収束したかを判断する(ステップS63)。収束していた場合、CPU12は、クロックジッタ補正制御目標値を現在のメモリ記憶容量に再設定する。そして、CPU12は、クロックジッタ補正制御を再開させる。実施の形態1では、監視カメラ1制御終了時、上述のようにクロックジッタ補正制御を実施するので、MPEGTSパケットの受信レートが変化した場合でも、クロック同期制御をはずすことなく制御ができる。よって、監視カメラ1制御終了時においても、監視モニター15に表示される表示画像を乱すことなくスムーズに表示画像の切り換え制御などを実施することができる効果がある。
実施の形態1は上述のように構成されているので、監視カメラ1制御時は、遅延量の少ない画像圧縮手段を用いて圧縮した画像を伝送し、監視モニター15上に表示すると共に、画像伝送装置7と画像受信装置14のクロック同期をとるため、画像の遅延量は大きいが高画質に圧縮できるMPEG2などのストリームを同時配信するように構成しているので、特に監視カメラ1制御終了時に、監視モニター15上の表示画像を乱すことなくスムーズに通常監視画像に切り換えることができる効果がある。
また、実施の形態1では、ネットワーク上を流すデータの優先度を、通常監視時と監視カメラ1制御時で切り換えることにより、それぞれの状態で最適な画像の表示を行うことができる効果がある。具体的には、監視カメラ1制御時は、JPEGパケットの優先順位を上げるよう構成したので、ネットワーク上でのJPEGパケットの遅延量を最小限に抑えることができると共に、通常監視時は、MPEGTSパケットの優先度を上げるのでリアルタイムでMPEGTSを復号することができる効果がある。
また、実施の形態1では、MPEG2符号回路33での符号量の切り換えをGOPの先頭で行うように構成した。これは、以下の理由による。例えば、GOPの途中で符号量を切り換えた場合(12Mbpsから6Mbpsに)は、イントラフィールドが全体の20%程度の符号量を占めるとすると、符号量が切り換えられた後のPフレーム、或いはBフレームに割り当てられる符号量が非常に小さくなる、或いは切り換え時点で目標符号量を大きく超えているなどMPEG2の符号量制御に大きなインパクトを与える。よって、実施の形態1に示すように、符号量の目標値の切り替えをGOPの先頭で行うことにより、スムーズな符号量切り替えが行え、画像受信装置14でのクロックジッタ制御、或いはMPEG2復号回路52での復号動作、TV同期発生回路53におけるTV同期発生動作をスムーズに行うことができ、目標符号量切り換え時に、例えば、TV同期が外れて同期が乱れ、監視モニター15への出力画像が乱れるなどを抑制できる効果がある。
実施の形態2.
以下に、本発明の実施の形態2について図を用いて説明する。一般に、監視カメラ1の方向、或いはズーム制御を実施する場合、通常の画像解像度は必要ない。従って、実施の形態2では、監視カメラ1制御時、画像データにJPEG符号化を実施する際の前処理として画像の解像度を落として処理する場合について説明する。JPEGなど同一の面内の相関を利用した画像圧縮では、圧縮時の画像サイズにより画像符号化時間が決まる。具体的には、1フィールドの画像データをメモリに記憶した後にJPEG圧縮を施すが、その際の演算量は圧縮する画像の面積に比例して多くなる。また、伝送する画像データのデータ量も上記圧縮する画像の面積に比例して多くなる。従って、実施の形態2では、JPEG圧縮の際の前処理として、例えば、水平方向及び垂直方向の画素数をそれぞれ半分にして伝送する場合について説明する。
図15は、本発明の実施の形態2における画像伝送装置内の画像圧縮回路において使用されるJPEG符号回路34を示すブロック構成図である。図15に示されるように、JPEG符号回路34は、入力された画像信号の水平方向及び垂直方向の画素数を半分に縮小する画像縮小回路70と、画像縮小回路70から出力される水平方向及び垂直方向の画素数が半分に削減された画像データにJPEG符号化を施す第2のJPEG符号回路71とから構成される。図16には、水平方向、或いは垂直方向の画素を半分に間引く際に使用するLPFの一構成例が示されている。図16に示されるLPFは、1画素遅延する遅延回路72,73と、データに0.25を乗じる乗算回路74,76と、データに0.5を乗じる乗算回路75と、加算回路77とから構成されている。なお、図15に示す構成で垂直方向のLPFを構成する際は、遅延回路72及び73を1ライン遅延するよう構成する。また、実施の形態2では、図16に示すように、水平方向及び垂直方向のLPFは3タップのフィルターで構成する場合について説明する。なお、水平方向及び垂直方向のLPFの構成は、図16に限定されるものではない。
図17は、本発明の実施の形態2における画像受信装置内の画像伸張回路において使用されるJPEG復号回路55を示すブロック構成図である。図17に示されるように、JPEG復号回路55は、入力されたJPEGパケットデータを復号する第2のJPEG復号回路80と、第2のJPEG復号回路80より入力される画像データを水平方向及び垂直方向に各々2倍に拡大する画像拡大回路81とから構成される。また、図18は、水平方向、或いは垂直方向の画素を2倍に拡大する際に使用する画素補間回路のブロック構成図である。図18に示される画素補間回路は、画素数が半分にされ入力された画像データを1クロック遅延する遅延回路82と、加算回路83と、入力されたデータに0.5を乗じる乗算回路84と、スイッチ85とから構成される。なお、図17に示す構成で垂直方向の画素補間回路を構成する際は、遅延回路82を1ライン遅延するよう構成する。
以下に、本発明の実施の形態2の動作を説明する。なお、通常監視時の動作は実施の形態1の動作と同一である。監視カメラ1制御時の動作を説明する。実施の形態1と同様に、監視カメラ1を介して入力される画像信号は、画像圧縮回路20内のNTSCデコーダ32に入力され、輝度信号及び2つの色差信号に変換される。NTSCデコーダ32の出力(水平同期信号及び垂直同期信号を含む)は、MPEG2符号回路33及びJPEG符号回路34に入力される。MPEG2符号回路33は、監視カメラ1制御時は、実施の形態1と同様に、図9に示されるフローに従い、符号量の目標値が切り換えられ符号化が行われる。なお、実施の形態2では、監視カメラ1制御時に使用するJPEG画像の画像サイズを小さくすることにより、画像の符号時間及び復号時間の短縮を図ると共に、通信ケーブル9上に流す画像データ量を少なくするよう構成するので、MPEG2符号化時の符号量の目標値は、実施の形態1より大きくなる。実施の形態2では、MPEG2符号化時の目標符号量を9Mbpsとして説明を続ける。MPEG2符号回路33より出力されるTSは、実施の形態1と同様に、TSパケット生成回路37でTSの先頭にタイムスタンプ生成回路36で生成されたタイムスタンプが付加され、TS記憶メモリ39へ記憶される。なお、以降の画像伝送装置7のTSパケットの処理動作は、実施の形態1と同一である。
一方、JPEG符号回路34は、監視カメラ1制御時、入力された輝度信号及び2つの色差信号の水平方向及び垂直方向の画素数を半分にしてからJPEG符号化を施し出力する。以下に、図15及び図16を用いてJPEG符号回路34の動作を説明する。NTSCデコーダ32より画像信号が入力されると、画像縮小回路70は、水平方向及び垂直方向の画素を半分に間引き、画像サイズを縮小する。以下に、図16を用いて水平方向の画素間引き動作を説明する。入力された画素データは、遅延回路72及び乗算回路74に入力される。遅延回路72では、入力された画素を1クロック遅延する。また、乗算回路74は、入力されたデータに0.25を乗算する。遅延回路72の出力は、遅延回路73及び乗算回路75に入力される。遅延回路73では、入力された画素を1クロック遅延する。また、乗算回路75は、入力されたデータに0.5を乗算する。そして、遅延回路73の出力は、乗算回路76で0.25が乗算される。乗算回路74、75、及び76の出力は、加算回路77で加算され水平方向の帯域が落とされ出力される。なお、その際、例えば、水平方向の偶数画素が間引かれ出力される。上記要領で、水平方向の画素が間引かれた画像は、垂直方向のLPFにて垂直方向の帯域が落とされた後、例えば、偶数ラインが間引かれ、画像縮小回路70から出力される。なお、垂直方向のLPFの動作は、図16中の遅延回路72及び73が1ライン遅延のラインメモリに置き変わるだけで、動作は同一である。画像縮小回路70の出力は、第2のJPEG符号回路71にJPEG符号化が施されJPEGパケット生成回路38に入力される。なお、以降の画像伝送装置7のJPEGパケットの処理動作は、実施の形態1と同一である。
次に、監視カメラ1の制御を行っている場合の画像受信装置14の動作を説明する。通信ケーブル9を介して通信モジュール10に入力されたパケットデータは、CPU12にてヘッダ情報が確認され、パケットデータのあて先、種別などが判別される。そして、自分宛の制御データであった場合は、制御データを元に所定の処理を実施する。一方、MPEGTS、或いはJPEGパケットであった場合は、そのデータを画像伸張回路21内のMPEGTSメモリ制御回路50に出力する。その際、MPEGTSかJPEGパケットかの識別情報も出力する。
MPEGTSメモリ制御回路50では、受信したデータがMPEGTSであった場合は、実施の形態1と同様に、通常監視の際と同様にそのタイムスタンプを含むMPEGTSパケットをMPEGTS用メモリ51に書き込む。なお、MPEGTSパケットの処理に関しては実施の形態1と同一である。一方、受信したデータがJPEGパケットであった場合は、JPEG復号回路55に入力する。以下に、JPEGパケット処理について説明する。MPEGTSメモリ制御回路50よりJPEGパケットが入力されると、第2のJPEG復号回路80は、JPEG復号を施し元の画像データを復元する。第2のJPEG復号回路80で復元された画像データは、画像拡大回路81に入力される。画像拡大回路81では、水平方向及び垂直方向の画素補間が行われ元の画像サイズが復元される。以下に、図18を用いて水平方向の画素補間動作を説明する。第2のJPEG復号回路80で復元された画像データは、遅延回路82、加算回路83、及びスイッチ85に入力される。遅延回路82では、入力された画像を1クロック遅延する(なお、1クロックは第2のJPEG復号回路82より出力される画素クロックに同期するものとする。)。加算回路83では、第2のJPEG復号回路80の出力と遅延回路32の出力を加算し、乗算回路83に入力する。乗算回路84では、入力されたデータに0.5を乗算し補間画像データを生成する。乗算回路84の出力は、スイッチ85に入力される。スイッチ85は、第2のJPEG復号回路82より出力される画素クロックの2倍周波数のクロックで駆動され、第2のJPEG復号回路80の出力と、乗算回路84の出力を切り換え水平方向の画素補間を実施する。なお、垂直方向の補間動作は、図18中の遅延回路82が1ライン遅延のラインメモリに置き変わるだけで、動作は同一である。JPEG復号回路55で復元された画像データは、JPEG用メモリ56に入力され、1フィールドの画像データが構成される。これ以降の動作は実施の形態1と同一である。
実施の形態2で上述したような構成をとる理由について説明する。上述したが、監視カメラ1の水平方向、垂直方向の位置制御、或いはズーム制御などを実施する場合は、画像の解像度が低下しても画像の遅延時間を短くする必要がある。画像の遅延時間は、JPEGを用いた場合は、一般に、符号化時には1フィールドの画像データをメモリに記憶した後に、メモリ内に記憶されている1フィールドの画像データに対してJPEG符号化を施す。また、JPEG符号化時の符号化時間は、符号化する画像のサイズ(面積)に比例して長くなる。よって、実施の形態2に示すように、画像サイズを水平方向及び垂直方向共に半分にすることにより、符号化時間は実施の形態1と比較して1/4になる。同様に復号にもJPEG復号の時間が実施の形態1と比較して1/4になるので、画像の遅延時間をより短くすることができる効果がある。
また、JPEGパケットのデータ量も実施の形態1と比較し1/4程度になるので、MPEG2符号化時の符号量を大きくすることができる(実施の形態2では、9Mbpsとした。)。映像監視システムでは、監視カメラ1から出力される画像データを監視レコーダなどに記録することが非常に多い。その際、実施の形態1及び実施の形態2で説明したシステムでは、監視カメラ1制御時においてもMPEG2のTSストリームを伝送するように構成したので、画質は若干劣化するものの、監視カメラ1より出力される撮像画像を連続的に(途切れることなく)監視レコーダに記憶することができる効果がある。
また、実施の形態2では、JPEGパケットのデータ伝送レートが少なくなった分をMPEG2のTSのデータ伝送レートに振り替えたので、監視レコーダに監視映像を記録する際の監視カメラ1制御時の監視映像は、実施の形態1と比較してより高画質に記録できる効果がある。
他の利用形態.
実施の形態1及び実施の形態2においては、図4に示すように、188バイトのTSの先頭にタイムスタンプを4バイト付加し伝送する場合について説明したが、本発明はこれに限定されるものではない。例えば、タイムスタンプを2バイト付加する、或いは無線伝送の際に発生するランダム誤りを訂正するためにリード・ソロモン符号などの誤り訂正符号を図3に示す192バイトの伝送データの後に付加して、伝送してもよい。また、上記誤り訂正符号はTSのみ、或いはタイムスタンプとTSの両者に対して付加してもよい。
また、実施の形態1及び実施の形態2においては、JPEGパケットのサイズをTSパケットと同一とした場合を説明したが、本発明はこれに限定されるものではない。
さらに、実施の形態1及び実施の形態2においては、ネットワークとしてEthernetを用いた有線系のネットワークの場合について説明したが、本発明はこれに限定されるものではない。例えば、IEEE802.11などの無線LAN、UWB(超広帯域:Ultra Wideband)などの無線ネットワーク、高速電力線通信(PLC:Power Line Control)などの電灯線を用いたネットワーク、ピアツーピア(PtoP)のネットワーク、又はUSBなどを用いた通信方式などにおいては、同様の効果が得られる。
さらにまた、実施の形態1及び実施の形態2においては、監視カメラ1制御時、JPEG画像に切り替わるまで監視カメラ1制御をマスクするよう構成したが、その際、監視カメラ1の制御をマスクしている旨をユーザに伝えるよう構成してもよく、その場合には、更に操作性が向上する。具体的には、監視モニター15上に監視カメラ1の制御がアクティブになったことを表示する、或いは操作パネル16上のLEDを点灯するなどのそのアプリケーションに合わせて構成すればよい。上述のように構成することにより、ユーザが監視カメラ1を制御しても画像が動かないなどと言うことがなくなるため、操作性が非常に悪くなるといったことがなくなり、スムーズに監視カメラ1を制御できる効果がある。
また、実施の形態1及び実施の形態2においては、MPEG2システムのTSを用いてクロックジッタを吸収する場合について説明したが、本発明はこれに限定されるものではない。例えば、他の圧縮方式で伝送されるビデオデータ、或いはMPEG2システムのPESフォーマット、電話などの音声データ、或いはCDなどから再生されたデジタルオーディオデータなどリアルタイム性を要求されるデータを用いてクロックジッタ吸収するように構成しても同様の効果を有する。
また、実施の形態1及び実施の形態2においては、画像伝送装置7内での高能率符号化方式として、通常監視時にはMPEG2を使用し、監視カメラ1制御時はJPEG符号化を用いた場合について説明したが、本発明はこれに限定されるものではない。例えば、通常監視時にMPEG4を使用してもよい。また、JPEG符号化の代わりに画像の解像度(画像サイズを1/4、色数を256階調)を削減して伝送しても同様の効果を奏する。
1 監視カメラ、 2 電動雲台、 4 通信モジュール、 5 CPU、 7 画像伝送装置、 9 通信ケーブル、 10 通信モジュール、 12 CPU、 15 監視モニター、 16 操作パネル、 18 伝送システム、 19 映像監視システム、 20 画像圧縮回路、 21 画像伸張回路、 32 NTSCデコーダ、 33 MPEG2符号回路、 34 JPEG符号回路、 35 画像圧縮制御回路、 36 タイムスタンプ生成回路、 37 TSパケット生成回路、 38 JPEGパケット生成回路、 39 TS記憶メモリ、 40 JPEGパケット記憶メモリ、 50 MPEGTSメモリ制御回路、 51 MPEGTS用メモリ、 52 MPEG2復号回路、 53 TV同期発生回路、 54 画像復号制御回路、 55 JPEG復号回路、 56 JPEG用メモリ、 57 JPEG用メモリ制御回路、 58 スイッチ、 59 NTSCエンコーダ、 70 画像縮小回路、 71 第2のJPEG符号回路、 80 第2のJPEG復号回路、 81 画像拡大回路。