JP2007267124A

JP2007267124A - 画像符号化データ伝送装置

Info

Publication number: JP2007267124A
Application number: JP2006090504A
Authority: JP
Inventors: Takao Yamabe; 孝朗山邊
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-03-29
Filing date: 2006-03-29
Publication date: 2007-10-11

Abstract

【課題】部品点数を増やすことなく、通常画像データと明瞭な高精細画像データとを送信すること。
【解決手段】変化検出部１０４にて被写体の動的変化が検出されない場合、動画像符号化部１０２は被写体の画像データを縮小した画像データを通常符号化モードによってイントラ符号化およびインター符号化し、多重化部１０８が通常符号化データメモリ１０５を介し多重化して送信する。被写体の動的変化があった場合、動画像符号化部１０２は、被写体の画像データを縮小せずに高精細符号化モードによって符号化してＩＤＲピクチャ１枚とＩピクチャとを高精細画像データメモリ１０６に記憶し、多重化部１０８がその高精細画像データメモリ１０６に記憶された高精細画像データのＩＤＲピクチャ１枚を通常画像データと共にマルチストリーム送信し、残りのＩピクチャは多重化制御部１０７を介し監視者から送信指令があった場合に送信する。
【選択図】図１

Description

本発明は、被写体の画像データを圧縮して送信する画像符号化データ伝送装置に関する。

従来、防犯用監視カメラシステムでは、通常の監視モードである動画像の送信と被写体に変化が認められたときに切り替えられる高精細静止画送信を、被写体の動的な変化量を検出することによって適応的または、操作者の意図に応じて使い分けられていた。

動画像は被写体の画像領域の時間的な変化を観察するためには有効であるが、画像の明瞭度という観点から動画像を静止画として扱うことは難しく、重要な瞬間における遠隔地域の情報収集能力及び証拠能力に問題があった。そこでＨ.２６１、Ｈ.２６３やＭＰＥＧのような動画像符号化方式によって符号化された画像符号化データの送信と共にまたは選択的に、ＪＰＥＧのような静止画を専用に符号化する符号化方式が防犯用カメラシステムで採用されている。

例えば、特開２０００-２５３３９９号公報記載の従来装置では、動画像符号化方式としてＨ.２６３を、静止画符号化方式としてＪＰＥＧを用いて被写体の画像を符号化し送信するものであり、監視を行う監視者が監視を継続しながら動画像および明瞭な静止画像を任意のモードで確認し得る装置の仕組みを開示している。
特開２０００−２５３３９９号公報

しかしながら、上述の従来装置では、動画像符号化方式と、静止画像符号化方式の異なる二つの画像符号化方式を実現しているが、カメラ側には二つの符号化方式で情報圧縮する符号化部、モニタ側には二つの符号化方式で符号化データを伸張する復号部を用意する必要があり、また送信側受信側双方において複数の情報を取り扱わなければならないため、部品点数が多くなる、という問題があった。

本発明は上述のような課題に鑑みてなされたもので、部品点数を増やすことなく、通常画像データと明瞭な高精細画像データとを送信することができる画像符号化データ伝送装置を提供することを目的とする。

上記目的を達成するために、被写体の画像データを圧縮して送信する画像符号化データ伝送装置であって、前記被写体の動的変化を検出する変化検出部と、前記変化検出部からの動的変化の検出出力に基づいて、前記被写体の動的変化がないと判断した場合、前記被写体の画像データを通常符号化モードによって符号化する一方、前記被写体の動的変化があると判断した場合、前記被写体の画像データを高精細符号化モードによって符号化する動画像符号化部と、前記通常符号化モードによって符号化された通常画像データを記憶する通常画像データメモリと、前記高精細符号化モードによって符号化された高精細画像データを記憶する高精細画像データメモリと、前記変化検出部から動的変化の検出出力がない場合は、前記通常画像データメモリに記憶された通常画像データを多重化して送信する一方、前記変化検出部から動的変化の検出出力があった場合は、前記高精細画像データメモリに記憶された前記高精細画像データの少なくとも１枚を前記通常画像データに多重化して送信する多重化部と、を有するものである。

ここで、前記多重化部は、前記変化検出部から動的変化の検出出力があり、前記高精細画像データメモリに記憶された前記高精細画像データの少なくとも１枚を前記通常画像データに多重化して送信する際、前記通常画像データの一定時間内における送信情報量と、前記高精細画像データの前記一定時間内における送信情報量とが同等になるように、前記高精細画像データの少なくとも１枚を多重化して送信する、ようにすると良い。

また、前記動画像符号化部は、前記変化検出部からの動的変化の検出出力に従い前記通常符号化モードおよび前記高精細符号化モードの符号化モードを制御する符号化モード制御部と、前記符号化モード制御部からの符号化モードの制御に基づき、前記通常符号化モードの指示があった場合には、前記画像データの縮小画像を生成して出力する一方、前記高精細符号化モードの指示があった場合には、前記画像データをそのまま出力する縮小画像生成部と、を備え、前記符号化モード制御部からの符号化モードの制御に基づき、前記通常符号化モードの指示があった場合には、前記通常符号化モードにより前記縮小画像生成部からの前記縮小画像をイントラ符号化およびインター符号化する一方、前記高精細符号化モードの指示があった場合には、前記縮小画像生成部からのそのまま前記画像データを前記高精細符号化モードによってイントラ符号化する、ようにすると良い。

また、前記動画像符号化部は、ＭＰＥＧ‐４ＡＶＣにより符号化を行い、前記変化検出部からの動的変化の検出出力に基づいて、前記被写体の動的変化があると判断した場合、前記被写体の画像データを前記高精細符号化モードによってＩＤＲ及びＩピクチャの高精細画像データとして符号化する、ようにすると良い。

また、前記多重化部は、外部から高精細動画像の送信要求があった場合、前記高精細画像データメモリに記憶された残りの前記高精細画像データを、伝送路の容量を超えない送信情報量で前記通常画像データと共にマルチストリーム送信する、ようにすると良い。

本発明によれば、被写体の動的変化がない場合、被写体の画像データを通常符号化モードによって符号化し多重化して送信する一方、被写体の動的変化があった場合、被写体の画像データを高精細符号化モードによって符号化して高精細画像データメモリに記憶すると共に、高精細画像データメモリに記憶した高精細画像データの少なくとも１枚を通常画像データに多重化して送信するようにしたので、部品点数を増やすことなく、通常画像データと明瞭な高精細画像データとを送信することができる。

以下、本発明に係る画像符号化データ伝送装置を実施するための実施の形態について図面を参照しながら説明する。

図１は本発明に係る画像符号化データ伝送装置の一実施の形態を示したブロック図である。

図１において、この画像符号化データ伝送装置は、カメラ１０１と、動画像符号化部１０２と、センサ１０３と、変化検出部１０４と、通常画像データメモリ１０５と、高精細画像データメモリ１０６と、多重化制御部１０７と、多重化部１０８とを有している。

次に、図１に示す画像符号化データ伝送装置の動作の概要を説明する。

まず、カメラ１０１から取り込まれた画像データは、情報圧縮されるため動画像符号化部１０２へ送られる。被写体または被写画像領域（以下、被写体と略す。）における動的な変化を検出するための一手法として動き検出を用いる場合は、変化検出部１０４へも画像データを伝送する。動き検出は、動画像符号化部１０２に含まれる同様の工程を用いて判定しても良い。動き検出の方法については、既に一般的であるので説明は省略する。

また、センサ１０３では、動く物体の熱源を捕らえる赤外線センサや、衝突音などを検知するマイク等のセンサであり、被写体における動的な変化を検出している。これら変化を検出するために必要な信号は、変化検出部１０４に送られる。

変化検出部１０４では、センサ１０３から送られてきた検出信号を元に被写体における動的な変化を検出し、その判定結果を動画像符号化部１０２へ送信する。

動画像符号化部１０２では、単位時間毎に記録された画像信号を単独で圧縮する画面内符号化（イントラ符号化）処理と、隣り合う画像信号の時間的な差分情報を主に符号化し情報圧縮する画面間符号化（インター符号化）処理とを含む動画像符号化を、適応的に選択して符号化データを生成する。動画像符号化部１０２の詳細な構成および処理については、後に更に詳しく説明する。

動画像符号化部１０２で生成された符号化データは、通常符号化モードの場合、伝送路に送信するための一時的に記憶する領域である通常画像データメモリ１０５に送られ、一時的に記憶される。

一方、変化検出部１０４において動的な変化が認められたときは、変化検出部１０４は、動的変化の検出信号を動画像符号化部１０２に送る。

すると、動画像符号化部１０２は、変化検出部１０４からの動的変化検出信号を受けて、高精細符号化モードにより符号化データを生成し、その一部の高精細イントラ符号化データ（本実施の形態では、１枚のピクチャとするが、２枚以上でも勿論良い。）を送信用の補助情報を付加された状態で通常画像データメモリ１０５に送る。

また、動画像符号化部１０２は、動画像符号化データとしても扱えるその他の一連の高精細イントラ符号化データを高精細画像データメモリ１０６に送り、多重化制御部１０７を介し監視者やユーザ等から送信要求が送られてくるまで高精細画像データメモリ１０６にて保存する。高精細画像データメモリ１０６に保存される高精細イントラ符号化データは、動画像符号化データとしての取り扱いを満足するため、補助情報もそれに準じた情報が付加される。例えばフレームレート、ピクチャサイズ等がこれに当たる。

多重化制御部１０７は、動画像符号化データ伝送装置が外部へ符号化された情報を滞りなく伝送するため多重化部１０８の制御を行う。一般的に、監視集中システムは、複数のカメラ１０１から伝送される映像信号（音声信号）を集中的に複数のモニタや複数の画像を一度に目視できる画面内分割が可能な大画面で監視画像を映し出しており、それら情報はネットワークを通じ随時送信されている。

ネットワークは、監視システムの目的から伝送帯域の安定性が望まれており、通常、閉じたネットワークであるイントラネットで構成されることが多い。回線容量には各々のカメラ１０１から伝送される画像符号化データの単位時間当たりの伝送量に対し、ある程度の余裕が加味されていなくてはならない。逆の言い方をすれば回線容量にある程度の余裕を残した情報量を各々のカメラ１０１で分け合いながら符号化情報を伝送することになる。

この冗長性を有効的活用することによって、例えば通常の画像符号化データの送信に加えて、監視者の要求に答え、カメラ１０１に蓄積された符号化データを、送信タイミングを制御しながら伝送することが可能になる。

多重化制御部１０７は、このような状況に対応するため、伝送路に乗せる符号化データを管理する役目を負う。

つまり、多重化制御部１０７は、通常の通常画像データメモリ１０５に記録された符号化データを伝送路に送出すると共に、外部からの操作情報に従い、要求されたイントラ符号化モードが記録された高精細画像データメモリ１０６内の符号化データを送信する。伝送情報量の制御は集中監視システムで伝送路の空き具合を把握していれば、一つの送信装置（画像符号化データ伝送装置）に対しある一定の上限伝送レートを設定するだけで、伝送路（回線）のオーバーフローを防止できる。

そして、多重化制御部１０７は、通常画像データおよび高精細画像データの２種類の符号化データを伝送路に乗せるため、後述するように、伝送路（回線）の容量を越えないように、多重化部１０８による多重化を制御する。

つまり、多重化部１０８は、多重化制御部１０７を介し本装置の受信側装置を操作してカメラ１０１映像を監視している監視者等から高精細画像の送信指令がなく、変化検出部１０４が被写体の動的変化を検出していない場合は、通常画像データメモリ１０５に記憶された通常画像データを多重化して送信する。

また、多重化部１０８は、多重化制御部１０７を介し監視者等から高精細画像の送信指令がなく、変化検出部１０４が被写体の動的変化を検出した場合は、通常画像データメモリ１０５に記憶された通常画像データに、高精細画像データメモリ１０６に記憶された高精細画像データの少なくとも１枚を多重化して送信する。ここで、少なくとも１枚とあるので、２枚以上でも下記の伝送路（回線）の容量の制限等を満たしていれば勿論良い。

その際、本実施の形態の多重化部１０８は、伝送路（回線）の容量を超えないように、通常画像データの一定時間内における送信情報量と、高精細画像データの一定時間（通常画像データの一定時間と同じ。）内における送信情報量とが同等になるように、高精細画像データメモリ１０６に記憶された高精細画像データの少なくとも１枚を多重化して送信する。

また、外部から高精細画像の送信指令が多重化制御部１０７にあった場合、多重化部１０８は、多重化制御部１０７の制御により、高精細画像データメモリ１０６に記憶された残りの高精細画像データを、伝送路の容量を超えない送信情報量で通常画像データと共にマルチストリーム送信する。ここで、マルチストリーム送信とは、種類の異なる複数の符号化データを同時に送信することであり、本実施の形態では、通常画像データと、高精細画像データという種類の異なる複数の符号化データを同時に送信している。

そのため、本実施の形態の動画像符号化部１０２では、画像データを高精細符号化モードによって符号化した高精細符号化データの１枚当りの情報量を、符号化補助情報として通常画像データメモリ１０５あるいは高精細画像データメモリ１０６、またはその双方のメモリ１０５，１０６に記憶している。このため、多重化部１０８は、高精細画像データメモリ１０６に記憶された高精細画像データの少なくとも１枚のＩＤＲピクチャを通常画像データに多重化して送信する際、その符号化補助情報に基づいて、高精細画像データメモリ１０６に記憶された高精細画像データを、伝送路の容量を超えない送信情報量で通常画像データに多重化して送信することが可能となる。

次に、図２を用いて動画像符号化部１０２の詳細な構成および動作を説明する。

図２において、動画像符号化部１０２は、縮小画像生成部２０１と、符号化モード切り替え部２０２と、周波数変換部２０３と、量子化部２０４と、エントロピー符号化部２０５と、符号量制御部２０６と、符号化データ生成部２０７と、符号化モード制御部２１３と、ローカルデコード部２１６と、を有している。また、符号化モード切り替え部２０２は、差分器２１４を有しており、ローカルデコード部２１６は、逆量子化部２０８と、逆周波数変換部２０９と、参照画像メモリ２１０と、動き予測部２１１と、動き補償部２１２と、符号化制御部２１３と、加算器２１５とを有している。

次に、図２に示す動画像符号化部１０２における動作を詳細に説明する。まずは、本実施の形態における通常符号化モードについて、画面内符号化（イントラ符号化）から説明する。

カメラ１０１より受信した画像データは、マクロブロックと呼ばれる正方形の画素グループを符号化単位として周波数変換部２０３にて周波数領域の信号へと変換される。ここで、符号化モード切り替え部２０２に含まれる差分器２１４は、画像データに対し何も作用することはない。また前段に設置された縮小画像生成部２０１は、後述の符号化モード制御部２１３からの制御信号により縮小画像を生成するかそのまま出力するかを切り替えられる。つまり、この縮小画像生成部２０１は、例えば、カメラ１０１入力の画像サイズがＮＴＳＣ相当(７２０*４８０)であり、符号化モード制御部２１３から通常符号化モードの指令を受ければ、これを例えばＳＩＦサイズ（３５２*２４０）のピクチャにスケーリングやフィルタリング処理を施す一方、符号化モード制御部２１３から高精細符号化モードの指令を受ければ、そのままＮＴＳＣ相当(７２０*４８０)で出力する機能を有する。

ここで、画像符号化による圧縮は、人間の目の特性を生かすと共に、また低周波成分ほど情報量が多いという画像情報の特徴を効果的に用いて周波数成分の偏りを利用した量子化により情報量を削減している。周波数変換部２０３では、このような特徴を利用して最適な信号に変換するため、画素データをブロック単位で周波数変換する。周波数変換された信号は量子化部２０４にて量子化され、更にエントロピー符号化部２０５にて可変長符号化されて情報量を削減される。

ここで、図２に示す動画像符号化部１０２内では、符号量制御部２０６が最終的な符号化データを生成する前に目標情報量を満足するように生成された符号量を常に考慮しながら量子化部２０４を制御する。

つまり、符号量制御部２０６は、エントロピー符号化部２０５でエントロピー符号化された符号量を観察しながら、目標情報量を満足するため量子化部２０４の量子化ステップを設定する。尚、実際の符号量制御には、補助情報符号量、過去の画像データの符号量、更には複数の画像符号化データを伝送する監視システムならではの回線残容量等を総合的に判断しながら行う必要がある。

符号化データ生成部２０７は、このようにして算出された符号化データを画像符号化方式で定められた伝送フォーマットに従ったビットストリームに生成する。以上が画面内符号化と呼ばれる符号化処理工程である。

ところで、画面内符号化は、ＪＰＥＧのような静止画符号化と基本的には同じ構成であり、１画面で完結する符号化処理である。特に、本実施の形態の動画像符号化方式として採用するＭＰＥＧ-４ＡＶＣでは、特殊な画面内符号化ピクチャを用意しており、ピクチャサイズやフレームレート等の前後の符号化データの仕様と完全に独立した構成を取る事ができる。この特殊な画面内符号化ピクチャを、通常のイントラ（Ｉ）ピクチャと区別して、ＩＤＲ（Instantaneous Decoding Refresh）ピクチャと名づけている。

続いて、本実施の形態の通常符号化モードにおける画面間符号化（インター符号化）について説明する。

動画像は、前後の画面間において相関が高いという特徴を用いて予測画像との差分を符号化し画面内符号化に対し数倍の情報圧縮を実現している。予測画像は、現ピクチャのマクロブロックとの差分値が最も小さいと判定された前後の参照ピクチャのある切り取られた画像領域に相当し、その領域を指し示す動きベクトルと画素間の差分値を符号化する。

参照画像は、動画像符号化部１０２に含まれるローカルデコード部２１６において予め生成された復号後と同一の画像データであり、必要な参照画像は常に参照画像メモリ２１０に確保されている。

ローカルデコード部２１６における処理を、図２を用いて説明する。

量子化部２０４で量子化された周波数信号は、逆量子化部２０８で逆量子化され、逆周波数変換部２０９で元の画素データへと変換される。画素データが画面内符号化で生成されたデータであるならば、そのまま参照画像メモリ２１０へ蓄えられる。反対に画面間符号化で生成されたデータであるならば、差分データであるため、加算器２１６にて動き補償部２１２からの予測画像データと加算された後、参照画像メモリ２１０へ蓄えられる。

一方、カメラ１０１より入力された画像データは、参照画像との相関を図るため、縮小画像生成部２０１を介して動き予測部２１１に送られる。動き予測部２１１では、対象となる元画像のマクロブロックと、参照画像のどの部分が最も相関が高いかを算出する。最も相関が高いと判定された領域は動きベクトル情報と参照ピクチャを指定するピクチャ番号を示す情報とで特定される。

動き補償部２１２では、対象となるマクロブロックと、選択された参照画像領域とを用いて動き予測信号を求めている。求められた予測信号は、参照ピクチャを生成するためのデータとして加算器２１６へ帰還され、また、元画像の情報量を削減するために、元画像との差分値を算出すべく符号化モード切り替え部２０２に含まれる差分器２１４に送られる。

差分器２１４で算出された差分値は、先に述べた画面内符号化の工程と同様に周波数変換部２０３、量子化部２０４、及びエントロピー符号化部２０５を経て符号化される。これにより、動きが少ない画像は、元画像と比較し数値的に非常に小さくなった差分値を用いて符号化されるため、また動きがある画像領域も前後のピクチャから相関の高い領域を用いて差分値を得てから符号化されるため、非常に高い圧縮率を可能にしている。

次に、高精細符号化モードについて説明する。

図１に戻り、変化検出部１０４が異常、すなわち被写体の動的変化を検出した場合には、新たに高精細符号化モードに切り替え、ＩＤＲ及びＩピクチャとして高精細な画面内符号化を専用に行う工程に移行するため、変化検出部１０４は、動画像符号化部１０２に動的変化検出情報を出力する。

すると、動画像符号化部１０２内では、図２に示すように、符号化制御部２１３が変化検出部１０４からの動的変化検出情報を入力して、縮小画像生成部２０１へ縮小処理の中止命令を送ると共に、符号化モード切り替え部２０２や符号量多重化制御部１０７、符号化データ生成部２０７へ通常符号化モードから高精細画像モードへの符号化モード切り替え命令を送る。

縮小画像生成部２０１は、符号化制御部２１３からの縮小処理の中止命令を受けて、高精細画像を送るため縮小処理を中断する。

符号化モード切り替え部２０２は、符号化制御部２１３からの高精細画像モードへの符号化モード切り替え命令を受けて、高精細画像モードとなり、縮小画像生成部２０１にて縮小処理をしない、すなわちスルーしたそのままの高精細な画像データをそのまま通過させる。

符号量多重化制御部１０７では、符号化制御部２１３からの高精細画像モードへの符号化モード切り替え命令を受けて、高精細符号化モードに変わり、通常符号化モードの約４倍の符号量割り当てを行うよう制御する。

符号化データ生成部２０７では、符号化モード制御部２１３から送られる制御信号に応じ、通常符号化モードでは縮小画像サイズに応じたピクチャサイズ、フレームレート情報などの補助情報を付加し、高精細符号化モードでは、高精細ピクチャサイズと、フレームレート情報などの補助情報を付加した伝送路に常時送信するための伝送情報量を満足する符号化データを生成する。

また、符号化データ生成部２０７では、一旦高精細画像データメモリ１０６に蓄積された動画像符号化データとして取り扱われる符号化データには、動画像として必要なフレームレート情報などへの補助情報の付け直しを行う。そして、符号化データ生成部２０７にて生成されたこれら二種類のビットストリームは、それぞれ、通常画像データメモリ１０５、高精細画像データメモリ１０６へ伝送され記憶される。

上記説明の中で、非通常時において高精細符号化モードに切り替わっても、高精細な静止画符号化を行いつつ伝送路に乗せる情報量を安定的に送出する手法を述べた。

次に、通常符号化モードと、高精細符号化モードにおける情報量の違い等を、図面を参照して説明する。

符号化する画像データにもよるが、通常、画面間符号化に対し画面内符号化の情報量は約５〜１０数倍程度である。イントラ（Ｉ）ピクチャは蓄積される誤差量をリフレッシュするため定期的に挿入する必要があり、１秒に一回程度の挿入が目安とされている。

説明を簡単にするため、ＮＴＳＣ等の画像フォーマットの規格から外れるが、例えば１秒間に３１枚の画像データを符号化し、１枚をイントラ（Ｉ）ピクチャ、残りの３０枚を順方向のみの参照ピクチャを用いたインターピクチャ（Ｐピクチャ）とし、イントラ（Ｉ）ピクチャはＰピクチャの１０倍の情報量を持つと仮定した場合、その各々のピクチャの符号量と１秒間の総合情報量は、図３に示す関係になる。

図３は、本実施の形態による符号化データ等の情報量の関係を示す図である。

具体的には、図３（ａ）は、通常画像データにおけるイントラ（Ｉ）ピクチャと３０枚のインターピクチャ（Ｐピクチャ）と、高精細画像データにおけるＩＤＲ又はIピクチャとの情報量の関係を示している。具体的には、その両者の情報量は、等しいことを示している。なお、前者のイントラ（Ｉ）ピクチャと３０枚のインターピクチャ（Ｐピクチャ）は、通常画像データメモリ１０５に記録される一方、後者のＩＤＲ又はIピクチャの少なくとも１枚は、通常画像データと単位時間当たりの送信情報量が同等の情報量であるよう補助情報と共に多重化され通常画像データメモリ１０５に記録され、更に高精細な動画像符号化データとして満足するフレームレート及びピクチャレート等の補助情報量と共に、一連のIDR及びIピクチャで構成された動画像符号化データとして高精細画像データメモリ１０６に記録される。

図３（ａ）に示すように、通常画像データとして符号化された３１枚のピクチャの情報量を単純に全て１枚のイントラ（Ｉ）ピクチャに使用し、これをピクチャサイズで置き換えれば、通常の動画像符号化におけるピクチャサイズをＳＩＦレベル（３５２*２４０）とするならば、後者の高精細符号化モードでは、本実施の形態の場合、一秒間に一枚しか生成できないものの、ＳＤレベル（７２０*４８０）の高精細なＩＤＲ又はIピクチャの静止画符号化が可能となる。

そもそも高精細符号化モードの場合に、一枚の高精細イントラ（Ｉ）ピクチャしか生成できない理由は、伝送路の帯域が高解像度の符号化情報を容量的に流せないからであり、動画像符号化部１０２の処理能力の許容範囲内であれば、画面内符号化（イントラ符号化）のみを用いて動画像符号化処理をすることも可能である。

図３（ｂ）は、イントラ（Ｉ）ピクチャと３０枚のインターピクチャ（Ｐピクチャ）とからなる通常画像データの情報量と、１枚のＩＤＲピクチャと、複数のイントラ（Ｉ）ピクチャとからなる高精細画像データの情報量を示している。

多重化制御部１０７を介し本装置の受信側装置を操作してカメラ１０１映像を監視している監視者等から高精細画像データの送信指令があった場合、変化検出部１０４にて動的変化が検出され伝送路に伝送される高精細画像データは、本実施の形態の場合、図３（ａ）に示すように、前後の符号化データと完全に独立した１枚のＩＤＲピクチャ１枚である。残りの３０枚のイントラ（Ｉ）ピクチャは、動画像符号化部１０２にて高精細符号化モードで符号化された後、高精細画像データメモリ１０６に記録される。そのため、本実施の形態では、多重化制御部１０７が、監視者の高精細画像データ送信の要求に従い、図３（ｂ）に示すように、あらためて残りの３０枚のイントラ（Ｉ）ピクチャを通常画像データと共にマルチストリーム送信により伝送路に伝送することで、限られた回線容量の中で通常画像データと高精細な静止画データとの伝送を実現するようにしている。

図４は、本実施の形態の各部における画像データの一例を示す説明図である。

図４（ａ）は、変化検出部１０４にて動的変化が検出されない場合の多重化部１０８から出力される画像符号化ストリームを示している。この場合、画像符号化ストリームは、ピクチャ毎に縮小画像生成部２０１で縮小された画像データのＩＤＲピクチャを先頭に、縮小画像生成部２０１で縮小された画像データのＰピクチャとイントラ（Ｉ）ピクチャとが多重化されることを示している。

図４（ｂ）は、変化検出部１０４にて動的変化が検出された以後の高精細画像データメモリ１０６における高精細画像データの記憶状況を示している。具体的には、最初に、動画像符号化部１０２にて生成された縮小画像生成部２０１で縮小されない高精細な画像データのＩＤＲピクチャが記憶され、それ以後、動画像符号化部１０２にて生成された縮小画像生成部２０１で縮小されない高精細な画像データのイントラ（Ｉ）ピクチャが記憶されることを示している。

図４（ｃ）は、変化検出部１０４にて動的変化が検出された場合を含む動画像符号化部１０２における画像データの符号化モードを示している。具体的には、変化検出部１０４にて動的変化が検出されるまでは、通常符号化モードで、ピクチャ毎に縮小画像生成部２０１で縮小された画像データのＩＤＲピクチャを先頭に、縮小画像生成部２０１で縮小された画像データのＰピクチャとイントラ（Ｉ）ピクチャとが多重化されることを示している。そして、変化検出部１０４にて動的変化が検出された場合には、動画像符号化部１０２では、縮小画像生成部２０１で縮小されない高精細な画像データを符号化してＩＤＲピクチャを生成し、それ以後、縮小画像生成部２０１で縮小されない高精細な画像データのイントラ符号化してイントラ（Ｉ）ピクチャを生成することを示している。

図４（ｄ）は、変化検出部１０４にて動的変化が検出された場合の多重化部１０８から出力される符号化ストリームの一例を示している。具体的には、変化検出部１０４にて動的変化が検出されるまでは、通常符号化モードで、ピクチャ毎に縮小画像生成部２０１で縮小された画像データのＩＤＲピクチャを先頭に、縮小画像生成部２０１で縮小された画像データのＰピクチャとイントラ（Ｉ）ピクチャとが多重化され、変化検出部１０４にて動的変化が検出された場合には、縮小画像生成部２０１で生成された縮小されない高精細な画像データを符号化してＩＤＲピクチャが少なくとも１枚挿入され、その後、縮小画像生成部２０１で生成された縮小された画像データを通常の符号化モードにより符号化されたＩＤＲピクチャを先頭にインター（Ｐ）ピクチャ、イントラ（Ｉ）ピクチャが多重化された符号化ストリームが出力される。これにより、変化検出部１０４にて動的変化が検出された場合の多重化部１０８から出力される符号化ストリームには、図４（ｄ）に示すように、変化検出部１０４にて動的変化が検出された時点で、高精細なＩＤＲピクチャが挿入されるので、受信側では、本装置からの符号化ストリームに高精細なＩＤＲピクチャが挿入されていることを確認することにより、動的変化があったことを認識することができる。

次に、本装置から送信された動画像及び静止画像が混在された符号化ビットストリームの受信側での復号方法と、その符号化ビットストリームの構成について説明する。

前述のようにＭＰＥＧ-４ＡＶＣは前後のピクチャグループ（ＭＰＥＧ-２でいうところのＧＯＰ）と完全に独立したＩＤＲピクチャが用意されている。ＩＤＲピクチャが挿入されると、参照ピクチャの完全なリフレッシュが実施され、新たに送られてきた画像情報が如何なる仕様なのかを示した情報が付加されている。

画像符号化データ、すなわちビットストリームは複数のシーケンスと呼ばれるピクチャグループで構成され、そのシーケンスの先頭には必ずＩＤＲを配置し、またそのシーケンスに関する情報をまとめたＳＰＳ（Sequence Parameter Set）が挿入される。

図５に、本装置から送信される符号化ビットストリームの構成例を示す。

符号化ビットストリームは、所定単位の複数の符号化シーケンスから構成されており、各符号化シーケンスは、ＡＵＤ（Access Unit Delimiter）と、ＳＰＳ（Sequence Parameter Set）と、ＰＰＳ（Picture Parameter Set）と、ＩＤＲピクチャや、インター（Ｐ）ピクチャ、イントラ（Ｉ）ピクチャ、ＥＯＳ（End of Sequence）から構成されている。ここで、ＡＵＤ（Access Unit Delimiter）は、アクセスユニットの先頭（ここではＩＤＲユニットの先頭）を示す情報であり、ＰＰＳ（Picture Parameter Set）は、ピクチャに関する情報が記述された補助情報列、ＥＯＳ（End of Sequence）はシーケンスの終了を示す情報である。また、ＶＵＩ（Video Usability Information）は、ＳＰＳに含まれるビデオ情報等が記述された補助情報列である。

ＳＰＳ（シーケンスパラメータセット）は、画像データのある１シーケンスにおける様々な仕様に関する情報をまとめた補助情報データ列である。このＳＰＳパラメータ中に復号ピクチャの水平マクロブロックの数及び高さの目安を示したpic_width_in_mbs_minus1、pic_height_in_map_unit_minus1パラメータが用意され、これらパラメータからピクチャサイズを導ける。これにより、通常符号化モードで符号化された符号化ビットストリームに高精細なＩＤＲピクチャやイントラ（Ｉ）ピクチャが挿入されたことを検出することができる。

またＳＰＳの一部にＶＵＩ（Video Usability Information）パラメータが用意されており、このＶＵＩパラメータ中にパラメータnum_units_in_tickとtime_scaleが存在し、これらを解読することでフレームレートを導く事が可能である。

これら図５に示す符号化ビットストリームのシンタックスは、ＭＰＥＧ-４ＡＶＣの国際規格書であるＩＳＯ/ＩＥＣ１４４９６-１０の中で規定されている。

よって、集中管理システムにおける受信部の符号化データ復号部（図示せず）において、上述のpic_width_in_mbs_minus1、pic_height_in_map_unit_minus1パラメータや、num_units_in_tick、time_scaleパラメータを復号することで、一つのビットストリームでありながら、通常符号化モードで符号化された動画像データと、高精細符号化モードで符号化された高精細なＩＤＲピクチャやイントラ（Ｉ）ピクチャを再生することが可能であり、また異常状態の検出も、これらのパラメータの解析によって高精細静止画モードに切り替わった時点で容易に認識される。

また、高精細符号化モードによりＩＤＲピクチャとイントラ（Ｉ）ピクチャとを符号化した場合も、num_units_in_tickとtime_scaleのパラメータが示すフレームレート情報を、通常符号化モードのフレームレート情報と同様にし、ＩＤＲピクチャとイントラ（Ｉ）ピクチャとをまとめた符号化ビットストリームとして高精細画像データメモリ１０６に記録しておくことにより、タイムシフトしながら高精細な通常画像データを再送信することで受信側にて高精細な動画像を再生する事も可能である。

また、高精細符号化データの再送信のタイミングは、画像符号化データ伝送置側で簡単に制御できる。つまり、回線空き容量を把握し、所望の画像符号化データ伝送装置内に記録された情報をある上限を設けた空き容量を満足するデータ伝送速度で転送すれば、回線が破綻することはなくシステムの保全が図られる。

このように、本実施の形態によれば、変化検出部１０４にて被写体の動的変化が検出されない場合、動画像符号化部１０２は、被写体の画像データを縮小した画像データを通常符号化モードによってイントラ符号化およびインター符号化し、通常符号化データメモリ１０５を介し多重化部１０８が多重化して送信する一方、被写体の動的変化があった場合、動画像符号化部１０２は、被写体の画像データを縮小せずに高精細符号化モードによって符号化してＩＤＲピクチャ１枚とイントラ（Ｉ）ピクチャ複数枚とを高精細画像データメモリ１０６に記憶し、多重化部１０８がその高精細画像データメモリ１０６に記憶された高精細画像データのＩＤＲピクチャの少なくとも１枚を通常画像データに多重化して送信するようにしたので、被写体の動的変化があった場合でも、部品点数を増やすことなく、通常画像データと、明瞭な高精細画像データである静止画像を少なくとも１枚を送信することができる。

また、本実施の形態では、多重化部１０８は、変化検出部１０４が動的変化を検出し、高精細画像データメモリ１０５に記憶された高精細画像データの少なくとも１枚を通常画像データメモリ１０６に記憶された通常画像データに多重化して送信する際、通常画像データの一定時間内における送信情報量と、高精細画像データの一定時間内における送信情報量とが同等になるように、高精細画像データの少なくとも１枚を多重化して送信するようにしたので、動的変化があった場合でも、伝送路（回線）を破綻させることなく高精細画像データを通常画像データに多重化して送信することができ、その結果、受信装置側では、その高精細画像データの受信により動的変化があったことを検出することができる。

また、本実施の形態では、動画像符号化部１０２は、変化検出部１０４からの動的変化の検出出力に従い通常符号化モードおよび高精細符号化モードの符号化モードを制御し、通常符号化モードの場合には、画像データの縮小画像を通常符号化モードによりイントラ符号化およびインター符号化する一方、高精細符号化モードの場合には、画像データそのままのサイズで縮小せずに高精細符号化モードによってイントラ符号化するようにしたので、簡単な構成で通常画像データと明瞭な高精細画像データとを送信することができる。

また、本実施の形態では、動画像符号化部１０２は、ＭＰＥＧ-４ＡＶＣにより符号化を行い、変化検出部１０４からの動的変化の検出出力に基づいて、被写体の動的変化があると判断した場合、被写体の画像データを高精細符号化モードによってＩＤＲピクチャの高精細画像データとして符号化するようにしたので、高精細画像データに変更する際に、ピクチャサイズやフレームレートがＩＤＲピクチャデータ自身に含まれ、ピクチャサイズやフレームレートの変更を別途のパラメータ等により受信側に指示する必要がなくなり、簡単な構成で通常画像データと明瞭な高精細画像データとを送信することができる。

また、本実施の形態では、多重化部１０８は、外部から高精細動画像の送信要求があった場合、高精細画像データメモリ１０６に記憶された残りの高精細画像データを、伝送路（回線）の容量を超えない送信情報量で通常画像データメモリ１０５に記憶された通常画像データと共にマルチストリーム送信するようにしたので、動的変化が検出されて、高精細動画像の送信要求があった場合でも、伝送路（回線）を破綻させることなく残りの高精細画像データを確実に送信することが可能となる。

その結果、本実施の形態のＭＰＥＧ-４ＡＶＣによる動画像符号化方式を用いた画像符号化データ伝送装置を使用し集中監視システムを構築すると、一つの伝送データ（ビットストリーム）内に動画像符号化データと高精細な静止画符号化データとを、ほぼ一定伝送レートに保ちながらシームレスに切り替えることができ、また、監視者の要求があるときは、伝送路（回線）を破綻させることなく高精細動画像としても利用できる動画像符号化データを取得することができる。

これにより、監視者は、集中監視システム側で送られてきた画像データを復号する時点でＩＤＲピクチャ等に付加された補助情報を解読することで直ちに異常状態を認識でき、かつその様子をモニタで高精細静止画として同時に観察することで適切な処置が施せることになる。また異常状態で記録された高精細な動画像符号化データを監視者の要求により容易に取得できるため、より的確な状況把握に役立つと共に、証拠写真や現場の重要な瞬間を捉えた事故原因の特定等の役目を果たす事ができる。

また、本実施の形態の画像符号化データ伝送装置では、変化検出部１０４にて動的変化が検出された場合、高精細符号化モードにより符号化を開始し、伝送路に配信する符号化情報量を一定に保ちながらＩＤＲピクチャという高精細静止画像を通常符号化モードのイントラ符号化およびインター符号化により符号化した高精細でない通常画像データに挿入して配信し、かつ同時に高精細符号化データ１０６に記録された高精細なイントラ（Ｉ）ピクチャは、監視者等からの送信指令によりタイムシフトして伝送路を経て再送信可能であり、一つの符号化方式で適応的に動画像と静止画像を切り替えて配信することで、監視能力の向上と明瞭な記録画像の保存とを実現することができる。

なお、上記実施の形態では、変化検出部１０４にて動的変化が検出された場合、高精細符号化モードにより符号化を開始し、通常符号化モードのイントラ符号化およびインター符号化により符号化した高精細でない通常画像データに高精細なＩＤＲピクチャを１枚挿入するように説明したが、本発明では、これに限らず、伝送路の帯域に余裕があれば、さらに高精細なイントラ（Ｉ）ピクチャを挿入するようにしても良いし、全て高精細なＩＤＲピクチャにより符号化するようにしても勿論よい。

また、上記実施の形態では、画面間符号化（インター符号化）により符号化されたインターピクチャとして、順方向予測のＰピクチャのみにより説明したが、本発明では、これに限らず、両方向予測のＢピクチャを含めても勿論よい。

また、上記実施の形態の画像符号化データ伝送装置では、図１や図２に示すようにハードウエアにより構成して説明したが、本発明では、この実施の形態に限定されるものではなく、例えば、上記画像符号化データ伝送装置の機能をコンピュータにソフトウエア的に実現させるための画像符号化プログラムも含むものである。この画像符号化プログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

また、上記実施の形態の画像符号化データ伝送装置では、外部から高精細画像の送信指令が多重化制御部１０７にあった場合、多重化部１０８は、多重化制御部１０７の制御により、高精細画像データメモリ１０６に記憶された残りの高精細画像データを、伝送路の容量を超えない送信情報量で通常画像データと共にマルチストリーム送信するように説明したが、本発明では、これに限らず、外部から高精細動画像の送信要求があった場合、多重化部１０８は、通常画像データメモリ１０５に記憶された通常画像データの送信をいったん中断して、伝送路の容量を超えない送信情報量で高精細画像データメモリ１０６に記憶された高精細画像データを送信するようにしても良い。

本発明による動画像符号化データ伝送装置の一例を示したブロック図である。本発明による動画像符号化データ伝送装置内の動画像符号化部１０２の一例を示したブロック図である。本実施の形態による符号化データ等の情報量の関係を示す図である。本実施の形態の各部における画像データの一例を示す説明図である。本装置から送信される符号化ビットストリームの構成例を示す図である。

符号の説明

１０１カメラ
１０２動画像符号化部
１０３センサ
１０４変化検出部
１０５通常画像データメモリ
１０６高精細画像データメモリ
１０７多重化制御部
１０８多重化部

Claims

被写体の画像データを圧縮して送信する画像符号化データ伝送装置であって、
前記被写体の動的変化を検出する変化検出部と、
前記変化検出部からの動的変化の検出出力に基づいて、前記被写体の動的変化がないと判断した場合、前記被写体の画像データを通常符号化モードによって符号化する一方、前記被写体の動的変化があると判断した場合、前記被写体の画像データを高精細符号化モードによって符号化する動画像符号化部と、
前記通常符号化モードによって符号化された通常画像データを記憶する通常画像データメモリと、
前記高精細符号化モードによって符号化された高精細画像データを記憶する高精細画像データメモリと、
前記変化検出部から動的変化の検出出力がない場合は、前記通常画像データメモリに記憶された通常画像データを多重化して送信する一方、前記変化検出部から動的変化の検出出力があった場合は、前記高精細画像データメモリに記憶された前記高精細画像データの少なくとも１枚を前記通常画像データに多重化して送信する多重化部と、
を有する画像符号化データ伝送装置。
請求項１記載の画像符号化データ伝送装置において、
前記多重化部は、
前記変化検出部から動的変化の検出出力があり、前記高精細画像データメモリに記憶された前記高精細画像データの少なくとも１枚を前記通常画像データに多重化して送信する際、前記通常画像データの一定時間内における送信情報量と、前記高精細画像データの前記一定時間内における送信情報量とが同等になるように、前記高精細画像データの少なくとも１枚を多重化して送信する、
ことを特徴とする画像符号化データ伝送装置。
請求項１記載の画像符号化データ伝送装置において、
前記動画像符号化部は、
前記変化検出部からの動的変化の検出出力に従い前記通常符号化モードおよび前記高精細符号化モードの符号化モードを制御する符号化モード制御部と、
前記符号化モード制御部からの符号化モードの制御に基づき、前記通常符号化モードの指示があった場合には、前記画像データの縮小画像を生成して出力する一方、前記高精細符号化モードの指示があった場合には、前記画像データをそのまま出力する縮小画像生成部と、を備え、
前記符号化モード制御部からの符号化モードの制御に基づき、前記通常符号化モードの指示があった場合には、前記通常符号化モードにより前記縮小画像生成部からの前記縮小画像をイントラ符号化およびインター符号化する一方、前記高精細符号化モードの指示があった場合には、前記縮小画像生成部からのそのまま前記画像データを前記高精細符号化モードによってイントラ符号化する、
ことを特徴とする画像符号化データ伝送装置。
請求項１〜請求項３のいずれか一の請求項に記載の画像符号化データ伝送装置において、
前記動画像符号化部は、ＭＰＥＧ‐４ＡＶＣにより符号化を行い、前記変化検出部からの動的変化の検出出力に基づいて、前記被写体の動的変化があると判断した場合、前記被写体の画像データを前記高精細符号化モードによってＩＤＲ及びＩピクチャの高精細画像データとして符号化する、
ことを特徴とする画像符号化データ伝送装置。
請求項１〜請求項４のいずれか一の請求項に記載の画像符号化データ伝送装置において、
前記多重化部は、
外部から高精細動画像の送信要求があった場合、前記高精細画像データメモリに記憶された残りの前記高精細画像データを、伝送路の容量を超えない送信情報量で前記通常画像データと共にマルチストリーム送信する、
ことを特徴とする画像符号化データ伝送装置。