JP2003274410A - 監視映像の符号化装置及び復号装置並びに符号化方法 - Google Patents

監視映像の符号化装置及び復号装置並びに符号化方法

Info

Publication number
JP2003274410A
JP2003274410A JP2002068602A JP2002068602A JP2003274410A JP 2003274410 A JP2003274410 A JP 2003274410A JP 2002068602 A JP2002068602 A JP 2002068602A JP 2002068602 A JP2002068602 A JP 2002068602A JP 2003274410 A JP2003274410 A JP 2003274410A
Authority
JP
Japan
Prior art keywords
image
camera
reference image
memory
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002068602A
Other languages
English (en)
Inventor
Shigeki Nagaya
茂喜 長屋
Yoshinori Suzuki
芳典 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2002068602A priority Critical patent/JP2003274410A/ja
Priority to US10/317,086 priority patent/US20030174775A1/en
Publication of JP2003274410A publication Critical patent/JP2003274410A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/557—Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

(57)【要約】 （修正有） 【課題】カメラの首振り時又は複数カメラの切り換え時
に起こるデータ量の増加を抑えることによって高画質を
得る監視映像の符号化装置及び復号装置を提供するこ
と。 【解決手段】DCT変換と動き補償を用いた符号化におい
て、入力画像を撮影場所毎に保存するフレームメモリ２
１０を用意しておき、カメラの首振り開始時に、符号化
対象の入力画像をカメラからの入力画像からフレームメ
モリ２１０に保存されている首振り終了後の撮影場所の
過去の入力画像に切り換える。又は、局部復号によって
得る復号画像を蓄積するフレームメモリ２１０に加え
て、該フレームメモリから読み出した監視対象の撮影場
所毎の復号画像を参照画像として保存する参照画像メモ
リを用意しておき、カメラ切り換え時に、動きベクトル
を検出するために用いる復号画像を入力画像の復号画像
から参照画像メモリに保存されているカメラ切り換え後
の撮影場所の過去の参照画像に切り換える。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、動画像データを圧
縮するための符号化及び復号技術、特にDCT(discrete c
osine transform)変換と動き補償を組み合わせた符号化
及び復号技術に関する。
【０００２】
【従来の技術】動画像データを圧縮するための符号化及
び復号の国際標準であるMPEG(MotionPicture Experts G
roup)規格は、動き補償フレーム間予測とDCT(discrete
cosine transform)符号化を組み合わせた高能率の符号
化方式であり、これによって伝送帯域が大幅に低減さ
れ、高画質のディジタル放送や１時間を超える長時間番
組の記録が可能なDVD(Digital versatile Disk)が実現
されることとなった。
【０００３】最近、これらのディジタル放送やDVDが採
用しているMPEG-1，MPEG-2に加えて、利用範囲を更に広
げた、動画及び音楽を含むマルチメディア対応のMPEG-4
が国際標準化された。
【０００４】ここで、MPEG-4を例に基本的な動画像の符
号化・復号処理について説明する。MPEG-4で扱う動画像
の１フレームは、図１３に示すように、１個の輝度信号
(Y信号：2001)と２個の色差信号(Cr信号：2002, Cb信
号：2003)から構成されており、色差信号のデータ量と
しての画像サイズは、縦横とも輝度信号の１／２とな
る。
【０００５】MPEG-4ビデオ（動画像）規格による符号化
では、動画像の各フレームは、図１３に示すような小ブ
ロックに分割され、マクロブロック(Macroblock：MB)と
呼ばれるブロック単位で再生処理が施される。
【０００６】図１４にマクロブロックの構造を示す。マ
クロブロックは16×16画素の１個のY信号ブロック2101
と、それと空間的に一致する8×8画素のCr信号ブロック
2102及びCb信号ブロック2103から構成されている。な
お、Y信号ブロックは、更に4個の8×8画素ブロック(210
1-1, 2101-2, 2101-3, 2101-4)に分割して処理されるこ
とも行なわれる。
【０００７】MPEG-4ビデオの符号化は、上記に示したマ
クロブロック単位で処理される。符号化方法には、大き
く分けて２種類があり、それぞれ、フレーム内符号化で
あるイントラ符号化(INTRA:Intraframe coding)と、フ
レーム間符号化である予測符号化(INTER:Interframe co
ding)である。
【０００８】図１５にMPEG-4ビデオの符号化装置の構成
を示す。イントラ符号化は、符号化対象の６個の8×8画
素ブロック画像に対して直接DCTを施し、各変換係数を
量子化・符号化する空間方向の即ちフレーム内のデータ
圧縮方法である。１個の8×8ブロックのイントラ符号化
による処理について、図１５を用いて説明する入力画像
200は、MB分割部300にてMB(マクロブロック)分割され
る。分割の結果生成された入力ブロック画像201は、DCT
変換器203にて64個のDCT係数に変換される。各DCT係数
は、制御部301にて定められる量子化パラメータ(量子化
の精度を決める値でMPEG-4では1〜31が移動範囲、多重
化器206から得られる前MBの符号化ビット数310やターゲ
ットビットレート等を参考に決められる)に従って量子
化器204にて量子化され、多重化器206に渡され、多重化
器206にて符号化される。この際、量子化パラメータも
多重化器206に渡され、符号化される。
【０００９】量子化されたDCT係数は、局部復号器220の
逆量子化器207と逆DCT器208にて、入力ブロック画像に
復号され、フレームメモリ210に蓄積される。この局部
復号器220は、復号側での復号画像と同じものを作成す
る能力を持つように構成される。
【００１０】フレームメモリに蓄積された画像は時間方
向の即ちフレーム間の予測に用いられる。なお、このイ
ントラ符号化は、前フレームに似通った部分がないマク
ロブロック(第１符号化フレームも含む)や、DCTに伴う
蓄積演算誤差を解消したい部分等に配置される。
【００１１】一方、予測符号化のアルゴリズムは、MC-D
CT(動き補償-離散コサイン変換)と呼ばれている。１個
のマクロブロックの予測符号化による処理について図１
５を用いて説明する。
【００１２】入力画像200は、MB分割部300にてMB分割さ
れる。分割の結果生成された入力マクロブロック画像20
1とフレームメモリ210に蓄積されている前フレームの復
号画像間の動き補償処理が、動き補償器211にて行なわ
れる。動き補償とは、前フレームから対象マクロブロッ
クの内容と似通った部分(一般的には、前フレームの探
索範囲に対して、輝度信号ブロック内の予測誤差信号の
絶対値和が小さい部分を選択する)を検索し、その動き
量(ローカル動きベクトル)を符号化する時間方向の圧縮
技術である。フレームメモリ210に蓄積されている前フ
レームの復号画像は、動き補償のための参照画像とな
る。
【００１３】図１６に動き補償の処理構造を示す。図１
６は、太枠で囲んだ現フレーム51の輝度信号ブロック52
について、前フレーム53上の予測ブロック55とローカル
動きベクトル56を探索範囲57に対して示した図である。
【００１４】ローカル動きベクトル56は、現フレームの
太枠ブロックに対して空間的に同位置に相当する前フレ
ーム上のブロック54(破線)から、前フレーム上の予測ブ
ロック55領域までの移動分を示すベクトルである。な
お、色差信号用の動きベクトル長は、輝度信号の半分と
し、符号化はしない。図１５に示す検出されたローカル
動きベクトル212は、多重化器206にて符号化される。
【００１５】動き補償により前フレームから抜き出され
た予測マクロブロック画像213は、現フレームの入力マ
クロブロック画像201との間で差分器202にて差分処理さ
れ、差分マクロブロック画像が生成される。
【００１６】差分マクロブロック画像は、図１４に示し
た６個の8×8画素ブロック(2101-1,2101-2, 2101-3, 21
01-4, 2002, 2003)毎に、DCT器203に入力され、64個のD
CT係数に変換される。各DCT係数は、量子化パラメータ
に従って量子化器204にて量子化され、量子化パラメー
タと共に多重化器206に渡され、符号化される。
【００１７】予測符号化の場合も、量子化DCT係数は局
部復号器220の逆量子化器207と逆DCT器208にて、差分マ
クロブロック画像に復号され、加算器209にて予測マク
ロブロック画像と加算された後、フレームメモリ210に
蓄積される。
【００１８】なお、イントラ符号化(INTRA)と予測符号
化(INTER)の判定は、INTRA/INTER判定部214にてMB単位
で行なわれる。一般的に判定は、INTERは輝度信号ブロ
ックにおける予測誤差の絶対値和、INTRAは輝度信号ブ
ロック内の平均値からの差分の絶対値和を評価値として
行なわれる。
【００１９】MPEG-4規格では、全てのマクロブロックに
対してイントラ符号化を適用したフレームをI-VOP(Intr
a-coded Video Object Plane)、予測符号化及びイント
ラ符号化ブロックを施したフレームをP-VOP(Predictive
-coded VOP)と呼ぶ。矩形画像ではVOPとフレームは同義
となる。I-VOPは、過去のフレームの復号情報を必要と
しないため、ランダムアクセス時の復号開始フレームや
DCTの演算誤差に伴う画質の劣化をリフレッシュするた
めのフレームとして使用される。
【００２０】P-VOPの場合には、図１５のINTRA/INTER判
定器214にて、各マクロブロックを予測符号化とイント
ラ符号化のいずれで行なうかが判定され、判定結果であ
る予測モード218が多重化器206にて符号化される。この
符号化では可変長符号化が採用される。
【００２１】なお、予測符号化、イントラ符号化以外
に、時間的に過去と未来のフレームの情報を用いて動き
補償(以下「MC(Motion Compensation)」という)を行な
う双方向符号化もあり、この符号化方法を使用したフレ
ームはB-VOP(Bidirectionallypredicted-coded VOP)と
呼ばれる。
【００２２】以上により、多重化器206から圧縮処理を
経た符号化データ230が出力される。
【００２３】一方、復号側での再生処理は符号化と逆の
手順で行なわれる。図１７に復号装置の構成を示す。符
号解読部501は、入力された符号化データ230を解析し、
バイナリーコードから意味のある復号情報に変換する。
そして、動き情報と予測モード情報を動き補償器504
に、量子化DCT係数情報を逆量子化器502に振り分ける。
【００２４】解析したマクロブロックの予測モードがイ
ントラ符号化であった場合には、復号した量子化DCT係
数情報は、逆量子化器502と逆DCT器503において、8×8
画素ブロック毎に逆量子化・逆DCT処理が施され、マク
ロブロック画像が再生される。再生されたマクロブロッ
ク画像は、合成器506にてマクロブロック単位に合成さ
れ、復号フレーム画像520が出力される。また、復号フ
レーム画像520は、次フレームの予測用にフレームメモ
リ507に保存される。
【００２５】マクロブロックの予測モードが予測符号化
であった場合には、まず、復号したローカル動きベクト
ル情報が動き補償器504に入力される。動き補償器504
は、動き量に従って、前フレームの復号画像が蓄積され
ているフレームメモリ507から予測マクロブロック画像
を抜き出す。
【００２６】次に、予測誤差信号に関する符号化データ
は、逆量子化器502と逆DCT器503において、8×8画素ブ
ロック毎に、逆量子化・逆DCT処理が施され、差分マク
ロブロック画像が再生される。
【００２７】そして、予測マクロブロック画像と差分マ
クロブロック画像は、加算器505にて加算処理され、マ
クロブロック画像が再生される。再生されたマクロブロ
ック画像は、合成器506にてマクロブロック単位に合成
され、復号フレーム画像520が出力される。また、復号
フレーム画像520は、次フレームの予測用にフレームメ
モリ507に保存される。このようにして、動き補償器50
4、加算器505、フレームメモリ507及び合成器506による
閉じたループによって予測器が構成される。
【００２８】図１８、図１９及び図２０は、MPEG-4規格
による符号化データ230の基本的なデータ構造を示した
ものである。図１８における1800が全体のデータ構造、
図１９における1900がフレームヘッダのデータ構造、図
２０における2200が各マクロブロックのデータ構造を示
している。
【００２９】図１８において、VOSヘッダはMPEG-4規格
による製品の適用範囲を決めるプロファイル・レベル情
報、VOヘッダはMPEG-4ビデオ符号化のデータ構造を決め
るバージョン情報、VOLヘッダは画像サイズ、符号化ビ
ットレート、フレームメモリサイズ、適用ツール等の情
報を含んでいる。いずれも受信した符号化データを復号
する上で必須の情報である。GOVヘッダには時刻情報が
含まれているが、これは必須の情報ではなく省略も可能
である。
【００３０】VOSヘッダ、VOヘッダ、VOLヘッダ、GOVヘ
ッダとも32ビットのユニークワードから始まるため、容
易に検索することができる。シーケンスの終了を示すEn
d code of VOSも32ビットのユニークワードである。こ
れらのユニークワードは、23個の“0”と１個の“1”で
始まり、その24ビットに続く２バイトのデータがその区
切れの種類を示すような構造となっている。
【００３１】VOPには、動画像の各フレーム(MPEG-4ビデ
オではVOPと呼ぶ)のデータが含まれている。VOPは、図
１９に示したVOPヘッダ1900から始まり、図２０に示し
た構造のマクロブロックデータ2200が、フレームの左か
ら右、上から下の順で続く構造となっている。
【００３２】図１９はVOPヘッダ1900のデータ構造であ
る。VOPスタートコードと呼ばれる32ビットのユニーク
ワードから始まる。vop_coding_typeがVOPの符号化タイ
プ(I-VOP, P-VOP, B-VOP, S-VOP)を表し（S-VOPについ
ては後述）、それに続くmodulo_time_baseならびにvop_
time_incrementがそのVOPの出力時刻を示すタイムスタ
ンプとなっている。
【００３３】modulo_time_baseは秒単位の情報、vop_ti
me_incrementは秒以下の情報である。vop_time_increme
ntの精度に関する情報はVOLヘッダに含まれるvop_time_
increment_resolutionという情報にて示される。
【００３４】modulo_time_base情報は、前VOPの秒単位
の値と現VOPの秒単位の値との変化分を示す値で、その
変化分の数だけ“1”が符号化される。つまり、秒単位
の時刻が前のVOPと同じ場合には“0”が、1秒分異なる
場合には“10”、2秒分異なる場合には“110”が符号化
される。vop_time_increment情報は、各VOPにおける秒
以下の情報をvop_time_increment_resolutionが示す精
度で示している。
【００３５】vop_codedは、以降にそのフレームに関す
る符号化情報が続いているかどうかを示している。この
値が“0”のときは、そのフレームは符号化データを持
たず、再生側では、１フレーム前の再生画像をそのまま
表示することを示す。
【００３６】intra_dc_vlc_thrには、イントラ符号化マ
クロブロックにおけるDCT係数のＤＣ成分が、ＡＣ成分
とは異なる符号化デーブルで符号化されているか、同じ
符号化テーブルで符号化されているかを識別するための
情報が含まれている。このintra_dc_vlc_thrの値と各マ
クロブロックにおけるDCT係数の量子化精度から、いず
れの符号化テーブルを用いるかがマクロブロック単位で
選択される。
【００３７】vop_quantは、DCT係数を量子化する際の量
子化精度を示す値(量子化パラメータの初期値)であり、
そのフレームの量子化精度初期値となる。vop_fcode_fo
rwardとvop_fcode_backwardはMCにおける動き量の最大
範囲を示している。なお、関数sprite_trajectory()
は、vop_coding_typeがS-VOPの場合に発生する情報であ
り、画像全体の動きを示す動きベクトル（グローバル動
きベクトル）を符号化する役割を果たす(詳細は後述)。
【００３８】図２０がマクロブロックの基本データ構造
(I-VOP，P-VOP及びS-VOP)2200である。not_codedは、P
-VOPとS-VOPのときに使用される１ビットのフラグで、
以降にそのマクロブロックに関するデータが続いている
かどうかを示している。“0”の場合には、そのマクロ
ブロックに関するデータが続くことを意味し、“1”の
場合には、以降に続くデータが次のマクロブロックに関
するデータであり、そのマクロブロックの復号信号が前
フレーム (S-VOPの場合には、sprite_trajectory()によ
り示される画像全体の動きに従って変形処理された前フ
レーム) の同じ位置からコピーすることにより生成され
ることを示している。
【００３９】mcbpcは1〜9ビットの可変長符号であり、
そのマクロブロックの符号化タイプを示すmb_typeと、
２個の各色差ブロック内に符号化すべき量子化DCT係数
(０以外の値)があるか否かを示すcbpc (イントラ符号化
ブロックの場合には、量子化DCT係数のＡＣ成分がある
か否かを示す)が１個の符号で表される。
【００４０】mb_typeが示す符号化タイプには、intra,
intra+q, inter, inter+q, inter4v(inter4vは、輝度信
号の動き補償を行なう単位が図１４の2101ではなく、21
01-1〜4の４個の小ブロック単位であることを示す), st
uffingの５種類があり、intraとintra+qがイントラ符号
化、inter，inter+q及びinter4vが予測符号化、stuffin
gは符号化レートを調整するためのダミーデータである
ことを示している。“+q”は、DCT係数の量子化精度が
前ブロックの値(quant)又は初期値(vop_quant、フレー
ムの最初の符号化マクロブロックに適用)から変更され
ることを示している。
【００４１】なお、stuffingの場合には、図２０内のmc
sel以降のデータは省略されており、復号されたmcbpcと
not_codedの値も再生画像の合成には反映されない。
【００４２】mcselは、vop_coding_typeがS-VOPでありm
b_typeがinter又はinter+qのときにのみ含まれる情報
で、動き補償をMB単位の動きベクトル(ローカル動きベ
クトル)で行なうか、グローバル動きベクトルで行なう
かの選択情報を示している。この値が“1”の場合は、
グローバル動きベクトルにて動き補償が行なわれる。
【００４３】ac_pred_flagは、mb_typeがイントラ符号
化であった場合のみ含まれる情報で、DCT係数のＡＣ成
分に対して、周囲のブロックからの予測を行なうか否か
を示す。この値が“1”の場合は、ＡＣ成分の量子化再
生値の一部が周囲のブロックからの差分値となってい
る。
【００４４】cbpyは1〜6ビットの可変長符号で、４個の
各輝度ブロック内に符号化された量子化DCT係数(０以外
の値)があるか否かを示している (cbpcと同様に、イン
トラ符号化ブロックの場合には、量子化DCT係数のＡＣ
成分があるか否かを示す)。
【００４５】dquantは、mb_typeがintra+qあるいはinte
r+qであった場合にのみ存在し、前ブロックの量子化精
度の値からの差分値を示しており、quant+dquantがその
マクロブロックのquantとなる。
【００４６】ローカル動きベクトルの符号化に関する情
報は、mb_typeが予測符号化であり、vop_coding_typeが
S-VOPで，mcselが“0”の場合とvop_coding_typeがP-VO
Pの場合に含まれる。
【００４７】Intra差分ＤＣ成分は、mb_typeがイントラ
符号化であり、かつuse_intra_dc_vlcが“1”の場合に
のみ含まれる情報である。MPEG-4ビデオでは、イントラ
符号化ブロックにおけるDCT係数のＤＣ成分は、周囲の
マクロブロックにおけるDCT係数のＤＣ成分との差分値
が量子化されている。量子化の方法もＡＣ成分とは異な
り、符号化方法もＡＣ成分とは別の方法が用意されてい
る。
【００４８】但し、use_intra_dc_vlcを“0”とするこ
とにより、ＤＣ成分の量子化値もＡＣ成分の量子化値と
同様の符号化方法を適用することが可能となる。なお、
use_intra_dc_vlcの値は、VOPヘッダにて定義されるint
ra_dc_vlc_thrと当該マクロブロックのquantによって決
定される。
【００４９】IntraＡＣ成分 or InterＤＣ＆ＡＣ成分に
関しては、「cbpy, cbpcにて、DCTの量子化係数に０以
外の値が存在することが示されている」ブロックのみ情
報を持つ。
【００５０】
【発明が解決しようとする課題】本発明では、MPEG規格
で符号化する動画像が監視カメラからの監視映像である
場合を取り上げる。後で詳述するが、監視映像には、プ
リセット機能を持つ監視システム（第１の監視システ
ム）からのものと、スイッチャによるカメラ切換機能を
持つ監視システム（第２の監視システム）からのものと
がある。
【００５１】プリセット機能を持つ第１の監視システム
は、１台の監視カメラが所定の方角及び位置の映像を一
定時間撮影し、次に該監視カメラが首を振って別の所定
の方角及び位置に向き、その方向の映像を一定時間撮影
し、というようにこれを繰り返すことによって監視映像
を得る。なお、本明細書では、監視カメラを所定の方角
及び位置に向けて即ち監視カメラを監視対象の撮影場所
に向けて、一定時間監視を行なった後次の撮影場所に監
視対象を移すことをプリセットと云うこととする。プリ
セットによって一定の順番で対象となる首振り動作が起
きる。
【００５２】スイッチャによるカメラ切換機能を持つ第
２の監視システムは、複数の固定の監視カメラを備え、
該複数の監視カメラからの映像をスイッチャで切り換え
ることによって監視映像を得る。
【００５３】第１の監視システムにおいては、首を振っ
ているときに撮影場所全体が大きく変化する。但し、そ
のときの映像は監視上不要である。また、第２の監視シ
ステムにおいても、スイッチ切換時に撮影場所全体が大
きく変化する。
【００５４】伝送帯域の低減を目的としたフレーム間差
分を利用するMPEG符号化方式では、首を振っている間の
画像又はスイッチ切換時の画像の符号化に要するデータ
量は、撮影場面の大きな変化によって増加し、帯域を圧
迫する。そのため、肝心部分へ割り振る帯域が減ってし
まい、画質が低下するという不都合が生じる。
【００５５】また、首を振っている間は耐久性の問題か
らカメラフォーカスを合わせていないことが多く、その
場合は動き補償がし難くなる。動き補償が不十分になる
と圧縮効果が低下し、データ量が増加する。それによっ
て符号化打ち切りが起こる場合があり、その場合に画質
の著しい低下を招く。
【００５６】本発明の目的は、カメラの首振り時又は複
数カメラの切り換え時に起こるデータ量の増加を抑える
ことによって高画質を得る監視映像の符号化装置及び復
号装置並びに符号化方法を提供することにある。
【００５７】
【課題を解決するための手段】本発明の前記課題は、首
振りによって監視対象の撮影場所を変えるカメラからの
入力画像を撮影場所毎に保存するフレームメモリを用意
しておき、カメラの首振り開始時に、符号化対象の入力
画像をカメラからの入力画像からフレームメモリに保存
されている首振り終了後の撮影場所の過去の入力画像に
切り換えることによって効果的に解決することが可能で
ある。
【００５８】本発明の前記課題は、その他に、監視対象
の撮影場所毎の符号化データを保存するデータメモリを
用意しておき、カメラの首振り開始時に、出力する符号
化データをカメラからの入力画像の符号化データからデ
ータメモリ内に保存されている首振り終了後の撮影場所
の過去の符号化データに切り換えることによって効果的
に解決することが可能である。
【００５９】監視映像では、同じ撮影場所の映像の変化
が時間経過に対して少ないという性質を持っており、従
って首振り終了後の符号化において過去の画像を使用す
ることによって符号化データ量の増加を抑えることが可
能であるという観点に基づいて本発明は成された。本発
明により、首振り中の変化の大きい映像の使用を避ける
ことができ、従って、伝送帯域の有効利用が可能とな
り、復号画像を高画質のものにすることが可能になる。
【００６０】なお、首を振るタイミングやプリセットに
よる一定の順番の首振り動作の時刻、更に、次に述べる
スイッチ切り換えのタイミングや時刻は、監視システム
で定まっており、本発明ではそのようなタイミングや時
刻が利用される。
【００６１】ところで、首振り中の変化の大きい映像で
あっても、動き補償で用いる動きベクトル情報のデータ
量の低減が可能であれば、首振り中の映像の使用が可能
になる。その場合、監視対象の撮影場所間の首振り動作
設定が固定であれば、各撮影場所間のグローバルな動き
は時間が経過しても変化しないという性質が利用され
る。
【００６２】即ち、本発明の前記課題は、更にその他
に、入力画像全体の動きを示すグローバル動きベクトル
と、ローカル動きベクトルの検索を行なう際の探索範囲
(グローバル動きベクトルが示す位置を中心とする)と、
該入力画像に対する符号化フレームレートとをパラメー
タとし、首振りの毎に首振り中のパラメータを更新して
首振り中の入力画像に対する符号化フレームレートと動
きベクトルの推定精度を設定することによって効果的に
解決することが可能である。更新によってパラメータを
収束させ、首振り中の符号化データが低減するように符
号化フレームレートと動きベクトルの推定精度を設定す
ることができるからである。
【００６３】次に、複数の監視カメラを監視対象の撮影
場所毎にスイッチャによって切り換える場合も、監視映
像は、同じ撮影場所の映像の変化が時間経過に対して少
ないという性質を持っていることが利用される。
【００６４】即ち、本発明の前記課題は、更にその他
に、局部復号によって得る復号画像を蓄積するフレーム
メモリに加えて、該フレームメモリから読み出した監視
対象の撮影場所毎の復号画像を参照画像として保存する
参照画像メモリを用意しておき、カメラ切り換え時に、
動きベクトルを検出するために用いる復号画像を入力画
像の復号画像から参照画像メモリに保存されているカメ
ラ切り換え後の撮影場所の過去の参照画像に切り換える
ことによっても効果的に解決することが可能である。
【００６５】そのような手段を採用すれば、スイッチす
る度に大きく変化する画像を使って動き補償のための再
生画像を参照画像として生成するのではなく、既に生成
され保存されている過去の参照画像を利用するので、符
号化処理量が削減され、従って、伝送帯域の効率的な利
用と符号化画像の高画質化を実現することができるから
である。
【００６６】
【発明の実施の形態】以下、本発明に係る符号化装置及
び復号装置、並びに符号化方法及び復号方法を図面に示
した発明の実施の形態を参照して更に詳細に説明する。
なお、図３、図５、図６、図１０、図１２、図１５及び
図１７における同一の符号は、同一物又は類似物を表示
するものとし、説明の重複を避けることとする。
【００６７】遠隔監視システムを必要とする発電所、変
電所、プラント或いは河川などにおいては、専用の有線
ネットワークを新設することがコスト的に難しいところ
が多い。このため、電話線DSL(Digital Subscriber Lin
e)技術を応用した広帯域のネットワーク（10Mbps）や無
線LAN(Local Area Network)（11Mbps）などが安価な代
替手段として利用されつつある。しかし、これらは通常
のLAN環境に比べて１桁近く帯域が狭くなる傾向があ
り、帯域の有効利用が重要となる。
【００６８】帯域の有効利用のために、画像データ量を
圧縮するMPEG符号化方式の採用が欠かせない。しかしな
がら、広範囲な領域を監視することを目的とした監視シ
ステムにおいてMPEG符号化方式によって圧縮したデータ
をネットワークに配信する場合、カメラ動作に伴う情報
量の増加が伝送帯域を圧迫し、映像品質を低下させる可
能性が高い。
【００６９】そこで、本発明では、同一カメラ位置の映
像は、時間が経過しても変化が少ないという特徴を利用
して、伝送帯域の効率的な利用と圧縮映像の再生品質の
改善を実現する仕組みが提供される。
【００７０】ここで、本発明の符号化装置及び復号装置
を適用する遠隔監視システムの例を説明する。広範囲な
領域を監視することを目的としたシステムの構成には大
きく分けて上述の第１及び第２の監視システムがある。
【００７１】第１の監視システムは、１台のカメラによ
って構成される低コストシステムであり、プリセットの
機能が適用されている。図１にプリセットによるネット
ワーク遠隔監視の全体構成を示す。プリセットでは、視
野中にあらかじめ設定しておいた複数の方角及び場所を
順番にカメラ１が首振りを行なって巡回撮影し、映像を
符号化装置２に入力する。監視側では、ネットワーク３
を通して受信したデータを復号装置４にて再生し、監視
者５が１台のモニタで全体の状況を把握する。本監視シ
ステムでは、カメラ首振り時に撮影場所が急変する。そ
のため、カメラ首振り時にカメラ静止時と同じデータ符
号化手段をMPEG符号化に従って適用した場合、その間の
符号化情報量（データ量）が増加する可能性がある。
【００７２】第２の監視システムは、複数のカメラによ
って構成されるシステムであり、スイッチャの機能が適
用されている。図２にスイッチャによるネットワーク遠
隔監視の全体構成例を示す。本構成では、多数台のカメ
ラ(１ａ，１ｂ，１ｃ，１ｄ，…)によって撮影された映
像から、見たい位置の映像を監視者５が選択し、その選
択の情報がネットワーク３を介して送信側システムの符
号化装置２に連絡される。
【００７３】送信システムの符号化装置２は、選ばれた
映像を符号化し、ネットワーク３を介して監視側に配信
する(送信側で自動的にスイッチする場合もある)。本監
視システムでは、スイッチの前後で撮影場所が異なる。
そのため、スイッチ後の映像を符号化する際にスイッチ
前の映像を参照して時間方向の相関を利用するMPEG符号
化において、符号化情報量が増加する可能性がある。
【００７４】このような符号化情報量の増加を抑えて高
画質を得られるようにした、プリセット機能を持つ第１
の監視システムのための発明の実施の形態を図３〜図９
を用いて説明する。
【００７５】構成としては、符号化側にカメラ入力画像
を保存するフレームメモリをカメラ位置の設定数即ちプ
リセット数だけ用意することにより、首振り中に、次の
カメラ位置用のフレームメモリに保存されている画像を
高品質で符号化するという仕組みを導入する。この高品
質画像は、時間的に過去の画像であるが、監視映像で
は、同じ撮影場所の映像の変化が時間経過に対して少な
いという性質を持っており、動き補償時の参照画像とし
て有効に活用することができる。
【００７６】この場合、首振り中に監視対象ではない過
去の画像が用いられるので、首振り終了の時刻を予測
（正確に分かる場合もある）して首振り中であることの
表示時刻情報が設定される。そして、首振りに掛かる時
間とネットワーク３の伝送レートを考慮して、高品質画
像の符号化データ量を決めることにより、高品質画像の
符号化が実現される。
【００７７】また、復号側では、次のフレームの表示時
刻情報等を用いて、カメラが首振り中であることをモニ
タに表示し、画像表示開始までの時間をカウントダウン
することで、ユーザが故障でないことを認識することが
できる。
【００７８】図３に符号化装置の構成を示す。入力画像
メモリ302に、プリセット（設定した方角・場所）の数
だけ、フレームメモリが用意される。フレームメモリは
各プリセット位置と１対１で対応する。入力画像200
は、適宜対応するフレームメモリに蓄積される。このフ
レームメモリへの画像蓄積では、カメラ入力に対して常
に行ない、フレームメモリを更新し続ける処理を行なっ
てもよいが、全ての入力画像を保存しなくてもよい。例
えば、数フレーム、数時間置きなど定期的に保存するよ
うにしてもよい。
【００７９】制御部301は、カメラ１、ネットワーク３
（図１参照）から得られる情報からプリセット設定情報
304 (首振り中/静止監視中、伝送レート、プリセット設
定時間)を作成し、入力画像の切り換えと画像品質の制
御等を行なう。首振り開始を示す情報が得られると、制
御部301は、入力画像メモリ302に首振り後のカメラ位置
情報305を通知すると共に、スイッチ303に首振り後のカ
メラ位置に対応するフレームメモリの画像306を出力す
るように首振りor監視情報307を使って通知する。これ
により、符号化システムへの入力画像201が蓄積画像に
切り換わる。
【００８０】制御部301は、１枚の画像がフレームメモ
リから出力された段階で、スイッチ303に対して、映像
の出力を一時中止することを首振りor監視情報307によ
って通知する。この映像出力の中止は、首振り終了時に
制御部301からスイッチ303に対して、出力をカメラ１か
らの監視映像200に切り換える通知が首振りor監視情報3
07によって出されることによって解除される。
【００８１】一方で、制御部301は、首振り中に符号化
する首振り後のカメラ位置の画像が高品質となるように
量子化パラメータを制御する。その過程を図４に示す。
制御部301は、まず、ステップ801でプリセット設定情報
304 (首振り中/静止監視中、伝送レート、プリセット設
定時間)を入力する。次に、ステップ802にてプリセット
設定情報304から処理対象入力画像が首振り後のカメラ
位置のフレーム（首振り開始フレーム）か否かを判定す
る。
【００８２】首振り開始フレームの場合には、制御部30
1は、入力データを利用して、ステップ803にて、符号化
タイプをI-VOPに、フレームビット量Bを(T1+T2)×Rに、
表示時刻tをt=tc+(T1+T2)に設定する。ここで、T1はプ
リセット設定時間、T2はプリセット後のピント合わせに
掛かる時間の予測値、Rはネットワーク３の伝送レー
ト、tcは現在の時刻を意味する。設定した表示時刻と符
号化タイプからなるフレーム情報308は、制御部301から
多重化部206に通知され、図１９に示したVOPヘッダ1900
の中に合成される。
【００８３】一方、首振り開始フレームでない場合に
は、ステップ804に示すように、符号化タイプ、フレー
ムビット量、表示時刻が設定される。
【００８４】レート制御処理のステップ805では、フレ
ームビット量Bに基づいて、各マクロブロックの符号化
に用いる量子化パラメータの設定が行なわれる。具体的
には、制御部301は、まず、フレーム内の全MBを同じ量
子化パラメータ値にて符号化した際に、フレーム内の総
符号化ビット量がフレームビット量Bに近づくと推定さ
れる値を、初期の量子化パラメータとして設定する。以
降、多重化部206から得られる処理済みマクロブロック
の符号化ビット数から、未処理のMBをどの値の量子化パ
ラメータにて符号化すればフレームビット量Bに近づく
かを換算し、量子化パラメータを修正していく。
【００８５】なお、上記では、プリセット設定情報304
(首振り中/静止監視中、伝送レート、プリセット設定時
間)が外部から入力されるとしているが、予めプログラ
ミングされている場合など、制御部301にてプリセット
設定情報304が設定される場合でも同様のレート制御、
表示時刻設定方法を適用することができる。
【００８６】以上により、首振り後のカメラ位置の画像
が高品質となるように設定された量子化パラメータに基
づいて符号化が行なわれ、多重化部206からその符号化
データ230がネットワーク３に配信される。
【００８７】このように、本発明のプリセットにおける
首振り時の映像の符号化・配信方法では、首振りにかか
る時間を最大限に利用して、首振り後の画像を高品質で
符号化しておく。首振り後には、この画像が動き補償時
の参照画像として利用することができるため、以降の画
像の画質も向上する可能性が高い。
【００８８】一方、復号側については、特別な処理は必
ずしも必要としない。しかしながら、首振り時に符号化
する高品質画像は、時間的に過去の画像であるため、正
確には表示すべき画像とは異なっている。従って、誤解
を避けるためには、この画像は動き補償時の参照画像に
用いるのみで、画面には表示しない方がよい。
【００８９】また、首振り時にモニタ画像が変化しない
ため、符号化側のシステムの故障やネットワークの切断
などの疑いが持たれる可能性がある。これを避けるため
には、再生側のモニタにプリセット中であることを明確
に示した方がよい。
【００９０】図３に示した符号化装置からの符号化デー
タ230を復号する復号装置の例を図５に示す。図５にお
いて、復号フレーム画像520を入力する表示装置513の画
面上に上記表示の実現例を示す。
【００９１】次の表示画像の表示時刻は、VOPヘッダに
含まれる時刻情報から判定することができる。そこで、
符号解読部501は、VOPヘッダの情報を復号後、直ちに時
刻情報512を表示装置513に通知する。
【００９２】表示装置513は、次の表示時刻までに一定
の時間がある場合には、画面にプリセット中であること
を表示し、同時に表示開始までの残り時間も表示する。
この表示により、ユーザは、監視システムが機能してい
ることを認識することができる。また、表示装置513に
は、プリセット終了後の最初の再生画像（復号フレーム
画像）を表示しないようにすれば、過去の監視フレーム
が表示されることによる誤解も避けることができる。
【００９３】図３では、カメラの角度・場所の数だけ、
入力画像用のフレームメモリを用意した。しかしなが
ら、画像フレームメモリの増加はシステム装置のコスト
増加を招くことになる。そこで、フレームメモリの代わ
りに、圧縮処理後の符号化データを保存するメモリを用
意し、I-VOPの符号化データを保存しておくという方法
も有効である。
【００９４】画像フレームの代わりに符号化データを保
存しておくようにした符号化装置の例を図６に示す。図
３の場合と同様に、データメモリ312に、プリセット
（設定した方角・場所）の数だけ、データメモリが用意
される。データメモリは、各プリセット位置と１対１で
対応する。多重化部206にて生成されたI-VOPの符号化デ
ータ311は、適宜データメモリに蓄積される。図３の場
合と同様に、このデータ蓄積処理では、全てのI-VOPに
対して行なう必要はない。
【００９５】プリセット処理開始時には、制御部301
は、データメモリ312に首振り後のカメラ位置情報305を
通知し、首振り後のカメラ位置に相当するデータを符号
解読部501、局部復号器220、動き補償部211にて再生
し、その再生画像をフレームメモリ210に蓄積する。同
時に、スイッチ303とデータメモリ312に、首振り後のカ
メラ位置に対応するデータメモリのデータを出力するこ
とを首振りor監視情報307を使って通知する。なお、こ
の間に、首振り直前の入力画像を高解像度でI-VOP符号
化し、対応するデータメモリを更新しておくことも有効
と言える。
【００９６】この通知に応じて、スイッチ303は、映像
の出力を一時停止する。この映像出力の停止は、首振り
終了時に制御部301からスイッチ303に対して、監視映像
200の符号化処理を開始する通知が首振りor監視情報307
を使って出されることによって解除される。
【００９７】一方、データメモリ312は、カメラ位置に
対応する符号化データ320を多重化部206に送る。制御部
301は、プリセット設定情報304を用いて、表示時刻tをt
=tc+(T1+T2)に設定する。この表示時刻情報を含むフレ
ーム情報308は、制御部301から多重化部206に通知さ
れ、データメモリ312から得られた符号化データのVOPヘ
ッダ1900（図１９参照）の中に合成される。なお、この
時刻tの設定を省略し（この再生フレームは表示されな
くても良い）、符号化データ320と多重化部206からの出
力データ230を別途用意したスイッチにて切り換えてネ
ットワーク３に配信しても良い。また、時刻tの符号化
データ320への埋め込みをデータメモリ312内にて行なう
ことも考えられる。
【００９８】なお、上記のケースで図３の場合と同様の
効果を得るために、データメモリ312に保存する符号化
データの再生時の映像が次のように高画質化される。例
えば、首振り開始時にスイッチ303からの画像出力を停
止する代わり、スイッチ303は１枚の画像200を出力し、
多重化器206は、図４に示したような首振り時のレート
制御の方法により、画像200を符号化する。そして、こ
の符号化データ311を首振り前のカメラ位置に対応する
データメモリ312に保存しておく。この方法であれば、
データメモリ312に保存される符号化データ311即ち多重
化器206から配信される符号化データ230は、復号装置に
おいて高品質の映像として再生される。
【００９９】また、伝送レートが時間と共に大きく変化
するネットワーク環境では、データメモリ312に保存さ
れたデータに対応する符号化データ230が、首振り期間
中に配信しきれない場合がある。そこで、データメモリ
312にカメラ位置数のｎ倍(ｎは２以上)の符号化データ
を保存しておき、配信時のネットワーク３の伝送レート
に応じたデータを選択する方法も効果的である。
【０１００】図３に示した入力画像302における複数フ
レームメモリ及び図６に示したデータメモリ312におけ
る複数データメモリの内容を更新するタイミングとして
は、幾つかの方法が採用可能である。例えば、時刻や明
るさの変化に対応して更新する方法や、監視者より符号
化装置に更新のタイミングを通知する方法などがある。
【０１０１】上記では、カメラ静止時の符号化方法につ
いては触れていなかった。カメラ静止時には、単純に、
決まった法則で、P-VOPとB-VOPを利用しても良いが、首
振り時に受信したI-VOPを常に参照画像とし、前方向か
らの予測に限定したB-VOPで符号化する方法が監視画像
では有効である。この方法は、特に基準I-VOPが高画質
の場合には有効であり、また、ランダムアクセスの面か
らも好適である。
【０１０２】以上、首振り中の画像を首振り後のフレー
ムにする方法を説明した。これとは別に、首振り中の画
像を動き推定によって得る方法を以下に説明する。この
方法でも、動きベクトル情報を削減することにより、符
号化情報量を削減することが可能である。特に、首振り
中は、画面全体が一斉に同じ方向に変化するので、この
変化に対応可能な動き補償を採用することとなる。
【０１０３】ところで、MPEG-4規格では、画面全体に関
わるカメラパラメータを符号化することで、マクロブロ
ック単位の動きベクトル情報を削減するためのツールが
用意されている。本発明の首振り時の動き推定方法は、
このツールを利用して実施される。そこで、まず、この
ツールについて説明する。
【０１０４】このツールはグローバル動き補償と呼ば
れ、図１８に示したvop_coding_typeが“S-VOP”のフレ
ームで利用可能となり、図２０に示したmcbpcで定めら
れるmb_typeがinter又はinter+qであり、mcselが“1”
のマクロブロックに適用される。グローバル動き補償を
実現するためのグローバル動きベクトル情報は、図１９
に示した関数sprite_trajectory()に従って符号化され
る。以下に、グローバル動き補償について示す。なお。
グローバル動き補償を用いた動き補償も機能的には予測
符号化方式の一部である。
【０１０５】MPEG-4では、動きモデルとして、静止、平
行移動、等方変換、アフィン変換の４種類が用意されて
おり、また、各画素の動きベクトルの精度として、１／
２画素、１／４画素、１／８画素、１／１６画素が用意
されている(ローカル動きベクトルは１／２画素又は１
／４画素精度)。これらの識別情報は、VOLヘッダにて符
号化される。
【０１０６】関数sprite_trajectory()における動きベ
クトルの符号化の例をアフィン変換の例で示す。アフィ
ン変換は、一般的には次の式(１）
【０１０７】
【数１】
【０１０８】の変換式にて実現される。上式では、（ｕ
g（ｘ，ｙ），ｖg（ｘ，ｙ））が画像内の画素（ｘ，
ｙ）の動きベクトル、ａ0〜ａ5が動きパラメータを示し
ている。
【０１０９】MPEG-4のグローバル動き補償では、動きパ
ラメータの符号化方法として、ａ0〜ａ5の代わりに画像
の頂点の動きベクトルを符号化する方法が採用されてい
る。
【０１１０】いま、動きモデルを式(１)のアフィン変換
とし、画像の左上端、右上端、左下端、右下端の画素の
座標がそれぞれ（０，０）、（ｒ，０）、（０，ｓ）、
（ｒ，ｓ）で表されると考える（ただし、ｒとｓは正の
整数）。
【０１１１】このとき、代表点（０，０）、（ｒ，
０）、（０，ｓ）の動きベクトルの水平・垂直成分をそ
れぞれ（ｕa，ｖa）、（ｕb，ｖb）、（ｕc，ｖc）とす
ると、式(１)は次の式(２）
【０１１２】
【数２】
【０１１３】と書き換えることができる。これは、ａ0
〜ａ5を伝送する代わりにｕa，ｖa，ｕ b，ｖb，ｕc，ｖ
cを伝送しても同様の機能が実現可能であることを意味
する。
【０１１４】ここで、動き補償の例として、上記のアフ
ィン変換モデルにより、図７の参照画像602(前フレー
ム)から原画像601への動きを補償する方法について示
す。符号化側では、まず、参照画像602と原画像601の間
で動きパラメータを推定する。
【０１１５】次に、この動きパラメータに基づいて、原
画像601の左上端、右上端、左下端に位置する代表点60
5，606，607におけるグローバル動きベクトル611，61
2，613を求める。これらのグローバル動きベクトルは、
原画像601の左上端、右上端、左下端に位置する代表点
が参照画像上でどの位置に相当するかを示している。こ
の例では、603が動き補償画像、608，609，610が動き補
償後の代表点となる。
【０１１６】グローバル動き補償を利用する符号化アル
ゴリズムでは、このグローバル動きベクトルの推定機能
が図１５の動き補償部211に追加される。推定されたグ
ローバル動きベクトル212はローカル動きベクトル212と
共に多重化部へ送られ、符号化される。
【０１１７】また、動き補償部211では、予測モードの
選択肢にグローバル動き補償（式(２)を用いて、グロー
バル動きベクトルからMB内の各画素のローカル動きベク
トルを算出する）を加え、MB単位で選択処理を行なう。
グローバル動き補償とローカル動き補償の選択結果は、
予測モード情報218と一緒に多重化部206へ送られる。
【０１１８】なお、MPEG-4のアフィン変換では高速アル
ゴリズムが適用されており、実際の変換式は式(２)と異
なるが、ここでは説明の便宜上一般化した式(２)を用い
た。
【０１１９】一方、復号側では、図１７の符号解読部50
1にて、sprite_trajectory()関数に従ってグローバル動
きベクトルが復号され、動き補償部504に送られる。動
き補償部504は式(２)のようにグローバル動きベクトル
から画像内の画素のローカル動きベクトルを算出する機
能が追加されている。従って、動き補償部504は、予測
モードにてグローバル動き補償を行なうことが通知され
たMBについては、そのフレームのグローバル動きベクト
ルから予測MB画像を合成することができる。
【０１２０】本発明の首振り時の動き推定方法は、上記
のグローバル動き補償を利用して実施される。図８及び
図９を用いて本発明の首振り時の動き推定方法について
説明する。
【０１２１】本方法では、カメラ位置間の首振り動作設
定が固定であれば、各カメラ位置間のグローバルな動き
は時間が経過しても変化しないという性質が利用され
る。具体的には、各フレームのローカル動きベクトル情
報から統計処理により符号化フレーム間のグローバルな
動きベクトルを推定し、この値をカメラ動作のルーティ
ーン毎に、更新していく。同時に、この推定グローバル
動きベクトルを利用して、カメラ動作のルーティーンの
度に、ローカル動き推定の探索範囲を小さく、符号化フ
レームレートを大きくなるように更新していく。
【０１２２】図８に首振り時の符号化処理過程を示す。
ここでは、S-VOPのグローバル動き補償（平行移動モデ
ル）を含む符号化方式を取り上げる。まず、首振り開始
時に、当該首振り区間における前回ルーティーン終了時
での、制御パラメータを確認する(ステップS201)。ここ
で、nをプリセット(首振り区間)番号、C(n)をプリセッ
トnにおけるフレームレート、FN(n)をプリセットnにお
ける符号化フレーム数、T1(n)をプリセットnにおけるプ
リセット設定時間(首振りにかかる時間)、W(n)をプリセ
ットnにおけるローカル動き推定の探索範囲、GMV(n, m)
をプリセットnフレームmのグローバル動きベクトル、α
(n)をプリセットnのフレームレート更新度、β(n)をプ
リセットnの探索範囲の更新度とする。
【０１２３】続いて、ステップS202でm = 0を設定し、
ステップS203でm = FN(n)か否かを判定する。否であれ
ば、ステップS204に進む。否でなければ、ステップS205
に進む。
【０１２４】首振り時のフレームレートは動き補償の探
索範囲に依存するが、カメラの動作を伴うケースでは、
グローバルな動きを伴うため、ローカル動きベクトルの
探索範囲を狭く設定することができない。そのため、各
頂点のグローバル動きベクトルが(0, 0)である監視開始
時には、探索範囲を32画素(±)程度に設定せざるを得な
い。この場合、初期のフレームレートは5fps(frame per
second)となることもある。
【０１２５】ステップS204では、制御パラメータを用い
て、首振り区間内の各フレーム(0〜FN(n))の符号化処理
が行なわれる。この際、グローバル動きベクトルはGMV
(n, m)に定め、推定処理は行なわない。一方、ローカル
動き推定は、GMV(n, m)を中心とした探索範囲±W(n)に
て行なう。
【０１２６】図９に探索範囲の設定方法を示す。図９で
は、太枠で囲んだ現フレーム51の輝度信号ブロック52に
ついて、前フレーム53上に探索範囲57を示している。こ
のように、現フレームの太枠ブロックに対して空間的に
同位置に相当する前フレーム上のブロック54を、グロー
バル動きベクトルの平行移動成分58だけ移動させた位置
に対して、探索範囲を設定する。
【０１２７】ローカル動き推定の結果得られた各MBのロ
ーカル動きベクトル（グローバル動きベクトルが選択さ
れたMBについては、グローバル動きベクトルGMV(n, m)
とする）について、統計的に発生頻度を求める。そし
て、最も頻度の高い動きベクトルを次のルーティーンの
GMV(n, m)として更新する。
【０１２８】首振り区間内の全フレームの符号化処理終
了後、ステップS205にて制御パラメータの更新処理を行
なう。ここで、更新度α(n)とβ(n)は基本的に正の数を
持つ。そのため、符号化フレームレートは徐々に大きく
なり、探索範囲は徐々に小さくなる。但し、α(n)はフ
レームレートが秒30フレームとなった時点で0に設定さ
れる。また、β(n)は探索範囲の縮小が予測性能に影響
を及ぼし、符号化ビット量の増加が見受けられた場合に
は、負の数となる場合がある。各ルーティーンにおける
符号化ビット量の変化を見ながら0に収束させていく。G
MV(n, m)のスケーリングとは、符号化フレームレートの
更新に応じて、各フレームのグローバル動きベクトルを
修正することを示す。例えば、更新後の各フレームに対
して、時間的に最も近いフレームのグローバル動きベク
トルと更新前後のフレームレートの関係から、グローバ
ル動きベクトルを計算する方法がある。
【０１２９】なお、ここでは、グローバル動きベクトル
の動きモデルを平行移動としたがアフィン変換等でも平
行移動の成分を利用することで同様の処理を適用するこ
とができる。但し、グローバル動きベクトルの推定処理
は省略せずに、算出された平行移動成分の推定値を基に
算出する必要がある。また、ここでは、グローバル動き
補償を含むアルゴリズムを例としたが、ローカル動き補
償のみのアルゴリズムにも同様の収束手段を適用するこ
とができる。この場合には、グローバル動きベクトル
は、単純にローカル動き推定の探索範囲の設定のみに利
用される。
【０１３０】以上、首振り中の画像の動きを情報量の少
ないグローバル動きベクトルによって推定することが可
能となった。このようなグローバル動き補償を利用する
ことにより、首振り中の画像及びそれに続く監視画像の
符号化情報量を低減することが可能になる。
【０１３１】次に、符号化情報量の増加を抑えて高画質
を得られるようにした、スイッチャによるカメラ切り換
え機能を持つ第２の監視システムのための発明の実施の
形態を図１０〜図１２を用いて説明する。
【０１３２】本実施形態においては、符号化側と復号側
に、再生画像（局部復号画像）を保存するフレームメモ
リが設定カメラ位置の数だけ追加して用意される。そし
て、スイッチャによって入力映像が切り換えられたとき
に、選択されたカメラ位置に対応するフレームメモリに
保存されている画像が動き補償の参照画像として使用さ
れる。同時に参照画像の切り換え情報が復号側に通知さ
れる。このフレームメモリに保存されている画像をカメ
ラ切換参照画像と云うことができる。
【０１３３】これにより、MPEG符号化では増大すること
が避けられない映像のスイッチ切換時即ちシーンチェン
ジ時の符号化情報量を、本発明を適用しない場合と比較
して大幅に低減することが可能となる。
【０１３４】また、この参照画像として保存する画像
（カメラ切換参照画像）に高画質のものを選択すること
により、DCTの蓄積誤差をリセットするためのイントラ
リフレッシュにも利用すること可能になる。それによ
り、更に符号化情報量を低減することが可能となる。
【０１３５】また、カメラ毎に異なる符号化セッショ
ン、復号セッションを用意し、カメラ切り換え時にセッ
ションを切り換える方法も採用可能である。具体的に
は、カメラスイッチ時に、スイッチ後カメラ位置のビッ
トストリームの続きから符号化し、最後に符号化した映
像の局部復号画像を参照画像とする。このようにして、
カメラ毎に別のストリームを設ける。この方法であれ
ば、復号側にて個々のカメラに対するデータを個別に蓄
積し、つなぎあわせることで、個々のデータは標準のMP
EG-4データとして扱うことも可能となる。
【０１３６】図１０に符号化装置の構成を示す。基本的
な構成は図３に示した符号化装置と同じであるが、局部
復号器220からの再生画像を保存するフレームメモリ210
に加えて、参照画像メモリ316が設けられる。参照画像
メモリ316には、設定カメラ位置の数だけフレームメモ
リが用意される。各カメラとフレームメモリは、１対１
で対応しており、フレームメモリ210に保存された再生
画像は、更に、適宜対応する参照画像メモリ316内のフ
レームメモリに保存される。
【０１３７】この再生画像保存処理は、全ての再生画像
に対して行なう必要はないが、符号化側と復号側で動き
補償時の参照画像を一致させるため、更新情報が復号側
に通知される。
【０１３８】一方、動き補償時の参照画像の切り換え・
更新処理は、制御部301からの情報によって行なわれ
る。まず、参照画像の切り換え方法について述べる。制
御部301は、ネットワーク３(図２参照)から得られる情
報からスイッチ情報313を作成し、現在のカメラ位置の
情報315を参照画像メモリ316に、参照画像切り換え情報
314をスイッチ317に通知する（これらの情報は、同時に
多重化部206に通知される）。これにより、そのフレー
ムの動き補償時の参照画像が、スイッチ317により、参
照画像メモリ316内のカメラ位置情報315に対応するフレ
ームメモリの画像（カメラ切換参照画像）に切り換えら
れる。
【０１３９】なお、上記に示した通り、この参照画像の
切り換えは、カメラのスイッチに伴うシーンチェンジ時
にのみではなく、DCTに伴う蓄積誤差をリセットするた
めのリフレッシュ時にも有効である。この場合も、制御
部301がイントラリフレッシュが必要と判断した時点
で、現在のカメラ位置の情報315が参照画像メモリ316に
通知され、参照画像切り換え情報314がスイッチ317に通
知され、同様の参照画像切り換え処理が行なわれる。
【０１４０】但し、イントラリフレッシュの効果を得る
ためには、参照画像メモリ316に蓄積する再生画像はDCT
誤差の影響を受けておらず、かつ高画質の画像であるこ
とが望ましい。また、各カメラ位置に対応するフレーム
メモリを更新する目的以外のフレーム映像を前方向から
の予測に限定したB-VOPで符号化し,ランダムアクセスを
可能にする方法も、監視のアプリケーションでは有効と
なる。
【０１４１】次に、参照画像メモリ316内のフレームメ
モリに蓄積されている参照画像（カメラ切換参照画像）
の更新方法について説明する。制御部301は、参照画像
メモリ316に保存している画像を更新すべきであると判
断したとき、カメラ位置情報＆参照画像蓄積指令315を
参照画像メモリ316に通知する（これらの情報は、同時
に多重化部206に通知される）。
【０１４２】参照画像メモリ316は、カメラ位置情報315
により指定されるフレームメモリにフレームメモリ210
内の画像をコピーする。なお、参照画像メモリ316の画
像を更新するタイミングとしては、DCT係数の量子化精
度が高いI-VOPが出現したときが選ばれる。このように
参照画像メモリ316の画像を高品質に保つことにより、
符号化情報量の削減効果が向上する。
【０１４３】図１０にて示した参照画像切り換え情報31
4、カメラ位置情報と参照画像蓄積指令315は、復号側に
通知される。これらの情報の通知方法としては、ビデオ
の符号化データの中に合成して送る方法があるほか、別
途通信パケットに合成して送る方法、又は、符号化側と
復号側で同じプログラムを起動させて制御する方法など
がある。
【０１４４】ここでは、例としてビデオデータの中に合
成する方法を図１１に示す。図１１に示したデータ2000
は、参照画像の切り換えや参照画像の更新処理を行なう
VOPデータの間に付加される。survillance_start_code
は、32bitのユニークワードであり、vop_start_codeと
同様に検索可能な識別コードである。参照画像メモリ制
御情報は、次のVOPデータの復号処理を行なう際の前処
理の種類が、参照画像の切り換えか参照画像の更新であ
るかを示している。続くカメラ番号は処理対象のカメラ
位置を示している。
【０１４５】この図１１のデータは、多重化部206にて
生成され、参照画像の切り換えを伴うVOPの符号化デー
タの前、あるいは、参照画像を更新するVOPに関する符
号化データの後に挿入される。
【０１４６】一方、復号側は、符号化側から通知される
図１１に示す情報に従って、フレームメモリのデータを
符号化側と同じ状況にする。図１２に復号装置の構成を
示す。符号化装置の図１０と同様に、再生画像を保存す
るフレームメモリ507に加えて、参照画像メモリ508に設
定カメラ位置の数だけフレームメモリが用意される。各
カメラとフレームメモリは１対１で対応している。
【０１４７】符号解読部501にて、参照画像を切り換え
ることを示す情報510とカメラ番号情報511が復号された
場合には、スイッチ509により、動き補償時の参照画像
が、参照画像メモリ508内のフレームメモリの画像（カ
メラ切換参照画像）に切り換えられる。このとき、参照
画像メモリ508は、カメラ番号情報511に対応するフレー
ムメモリの画像を出力する。符号解読部501にて、参照
メモリ508に保存されている参照画像（カメラ切換参照
画像）を更新することを示す情報とカメラ番号511が復
号された場合には、フレームメモリ507の画像がカメラ
番号に対応する参照画像メモリ内のフレームメモリにコ
ピーされる。
【０１４８】なお、参照画像切り換え情報314とカメラ
位置情報と参照画像蓄積指令315を復号側に通知する別
の方法である通信パケットに合成する方法として、複数
の通信セッションを設け、個々のカメラに対する符号化
データに割り当てる方法がある。この場合には、個々の
カメラの符号化データをMPEG-4の標準方式に対応させて
おくことにより、復号側でMPEG-4標準のデータとして個
々の受信データを扱うことが可能となる。
【０１４９】具体的には、カメラスイッチ時に、スイッ
チ後カメラ位置のビットストリームの続きから符号化
し、最後に符号化した映像の局部復号画像を参照画像と
する。この方法を用いれば、受信側にてカメラごとに別
のMPEG-4準拠ストリームとして合成することが可能とな
る。
【０１５０】以上、スイッチャによるカメラ切り換え時
のカメラ位置に対応するフレームメモリに保存されてい
る画像（カメラ切換参照画像）を動き補償の参照画像と
して使用することにより、カメラ切り換え時の符号化情
報量を低減することが可能となり、高画質を得ることが
可能となる。
【０１５１】なお、上記では、MPEG符号化方式を例に本
発明の構成を説明したが、本発明の特徴である「首振り
時の入力画像の切り換え処理」、「首振り時の動き予測
処理」及び「カメラスイッチ時における動き予測用参照
画像の切り換え処理」は、時間方向の予測を伴う動画像
符号化方式の全般に適用可能であり、同様の効果を得る
ことができる。
【０１５２】時間方向の予測では、動画像のフレームの
前後での変化分（差分画像）を符号化することが基本で
あり、首振り又はカメラスイッチ切換等によって画面が
急変した場合には変化分が増大し、符号化データ量が増
大するが、本発明の上記の各処理はいずれも、このよう
な画面の急変、変化分の増大を抑える効果を持つもので
あるから、変化分に対する符号化方式に限定されること
なく有効である。
【０１５３】即ち、MPEG方式における入力画像及び差分
画像に対する符号化方式は、DCT変換、量子化、可変長
符号化によって構成されるが、このDCT変換器203による
DCT変換を、静止画像符号化の国際標準であるJPEG方式
において使用されているウエーブレット変換に置き換え
ることが可能である。更には、DCT変換やウエーブレッ
ト変換のような周波数領域への変換を行なわずに差分画
像即ち予測誤差画像をそのまま符号化しても構わない。
【０１５４】また、多重化器206にて実施される符号化
方式に関しても、MPEG方式のような符号化テーブルを用
いる可変長符号化ではなく、JPEG方式にて利用されてい
る算術符号化を用いることが可能である。
【０１５５】これらの場合は、DCT変換器203、量子化器
204、多重化器206、逆DCT変換器208、逆量子化器207、
符号解読器501等の各要素の置き換えや統合により、実
施形態における各図にて実現することができる。
【０１５６】更に、動き補償の部分についても、本発明
の首振り時の入力画像の切り換え処理やカメラスイッチ
時における動き予測用参照画像の切り換え処理は、従来
技術や実施形態にて示した以外のフレーム間予測方法に
対して効果がある。例えば、動きベクトルの検索を行な
わず、全ての符号化マクロブロックの動きベクトルを０
ベクトルに固定し、参照画像から空間的に同位置のマク
ロブロック画像を切り出す予測処理も本発明における動
き補償、動き予測に含めることが可能である。
【０１５７】また、本実施形態では触れていないが、本
発明は、フレーム内の隣接画素から入力画素の値を予測
するフレーム内予測を実施する符号化方式にも適用可能
である。この構成では、動き補償器211と並列に空間予
測器を設け、どちらを使用したかの判定をINTRA/INTER
判定器214に行なわせることにより実施することができ
る。なお、フレーム内予測の有無は、本発明の符号化性
能を向上させる役割を果たすものの、本発明の構成には
影響を与えない。
【０１５８】以上を総合すると、本発明は、実施形態で
示した局部復号器220、フレームメモリ210、動き補償器
211及び差分器202を一例として含む予測器と、DCT変換
器203、量子化器204及び多重化器206を一例として含む
符号化器とで構成される符号化方式に適用可能である。
予測器は、過去に符号化した画像の復号画像から現在の
入力画像の予測画像を生成し、入力画像と予測画像の間
の差分画像を出力するものとして表され、符号化器は、
差分画像又は入力画像を符号化して符号化データを出力
するものとして表すことができる。
【０１５９】ここで、本発明の付加的な特徴を整理して
述べると以下の通りである。
【０１６０】（１）首振り時の入力画像の切り換え処理
を行なう符号化装置がデータメモリを備えている場合、
データメモリに保存される監視対象の撮影場所毎の符号
化データは、首振り開始直前のカメラからの入力画像の
符号化データである。
【０１６１】（２）フレームメモリ又はデータメモリを
用意して首振り時の入力画像の切り換え処理を行なう符
号化装置が備える符号化器が、出力する符号化データの
中にカメラが首振り中であることとその時刻とを示す時
刻情報を合成する場合、時刻情報は、カメラが首振り中
か静止して監視中かを表す外部からの情報から生成され
ている。
【０１６２】（３）フレームメモリ又はデータメモリを
用意して首振り時の入力画像の切り換え処理を行なう符
号化装置からの符号化データを復号する復号装置が表示
装置に首振り中であることを表示させるための表示信号
を出力する場合、表示信号は、表示装置に首振り終了の
時刻を表示させるための信号を含んでいる。
【０１６３】（４）参照画像メモリを用意してカメラス
イッチ時における動き予測用参照画像の切り換え処理を
行なう符号化装置が、参照画像メモリから読み出される
カメラ切換参照画像に対応するカメラの識別番号及びカ
メラ切換参照画像への切り換えが行なわれたことを表す
切換情報を復号側に送出する通知手段を備えている場
合、通知手段は、識別番号と切換情報とを符号化データ
に合成する手段からなる。
【０１６４】（５）参照画像メモリを用意してカメラス
イッチ時における動き予測用参照画像の切り換え処理を
行なう符号化装置が、参照画像メモリから読み出される
カメラ切換参照画像に対応するカメラの識別番号及びカ
メラ切換参照画像への切り換えが行なわれたことを表す
切換情報を復号側に送出する通知手段を備えており、更
に、通知手段が、上記参照画像メモリに保存されている
カメラ切換参照画像の更新が行なわれたときに、カメラ
切換参照画像の更新が行なわれたことを表す更新情報を
復号側に送出する手段を含んでいる場合は、通知手段
は、上記識別番号と切換情報と更新情報とを符号化デー
タに合成する手段からなる。
【０１６５】（６）参照画像メモリを用意してカメラス
イッチ時における動き予測用参照画像の切り換え処理を
行なう符号化装置からの符号化データを復号する復号装
置が、カメラ切換参照画像に対応するカメラの識別番号
及びカメラ切換参照画像への切り換えが行なわれたこと
を表す切換情報を受信する受信手段を有している場合、
受信手段は、識別番号と切換情報とを符号化データから
分離取得する手段からなる。
【０１６６】（７）参照画像メモリを用意してカメラス
イッチ時における動き予測用参照画像の切り換え処理を
行なう符号化装置からの符号化データを復号する復号装
置が、カメラ切換参照画像に対応するカメラの識別番号
及びカメラ切換参照画像への切り換えが行なわれたこと
を表す切換情報を受信する受信手段を有しており、更
に、受信手段が参照画像メモリに保存されているカメラ
切換参照画像の更新が行なわれたことを表す更新情報を
受信する手段を含んでいると共に、参照画像メモリが更
新情報に従ってカメラ切換参照画像の更新を行なう場
合、受信手段は、識別番号と切換情報と更新情報とを符
号化データから分離取得する手段からなる。
【０１６７】
【発明の効果】本発明によれば、カメラの首振り時や複
数カメラの切り換え時に起こるMPEG符号化の情報量の増
加を過去の画像を利用することによって抑制することが
可能となるので、符号化データを伝送する帯域の効率的
な利用が可能になると共に、監視映像の再生画質を向上
させることができる。また、カメラ首振りの場合は、過
去の画像の利用によるのとは別に、動きベクトルの情報
量の低減により、符号化データ量を低減することができ
る。
【図面の簡単な説明】
【図１】プリセット機能を持つ監視システムの例を説明
するための構成図。
【図２】スイッチャによるカメラ切り換え機能を持つ監
視システムの例を説明するための構成図。
【図３】本発明の符号化装置の発明の実施の形態を説明
するための構成図。
【図４】本発明の符号化方法の発明の実施の形態を説明
するためのフローチャート。
【図５】本発明の復号装置の発明の実施の形態を説明す
るための構成図。
【図６】本発明の符号化装置の別の発明の実施の形態を
説明するための構成図。
【図７】グローバル動き補償処理の例を説明するための
図。
【図８】本発明の符号化方法の別の発明の実施の形態を
説明するためのフローチャート。
【図９】本発明におけるローカル動き推定の探索範囲設
定方法の例を説明するための図。
【図１０】本発明の符号化装置の更に別の発明の実施の
形態を説明するための構成図。
【図１１】本発明における参照画像の切り換え及び更新
処理情報の符号化データ構造の例を説明するための図。
【図１２】本発明の復号装置の別の発明の実施の形態を
説明するための構成図。
【図１３】MPEG-4ビデオ符号化におけるマクロブロック
分割を説明するための図。
【図１４】MPEG-4ビデオ符号化におけるマクロブロック
の構成を説明するための図。
【図１５】従来の符号化装置の例を説明するための構成
図。
【図１６】動き補償処理の概略を説明するための図。
【図１７】従来の復号装置の例を説明するための構成
図。
【図１８】ビデオ符号化データの全体構成を説明するた
めの図。
【図１９】ビデオ符号化データにおけるVOPヘッダのデ
ータ構成を説明するための図。
【図２０】ビデオ符号化データにおけるMBデータのデー
タ構成を説明するための図。
【符号の説明】
57…探索範囲、200…入力画像、201…入力マクロブロッ
ク画像、202…差分器、203…DCT処理部、204…量子化
部、206…多重化部、207，502…逆量子化部、208，503
…逆DCT部、209，505…加算器、210，507…フレームメ
モリ、211，504…動き補償部、214…INTRA/INTER判定
部、300…ＭＢ分割処理部、301…制御部、302…入力画
像メモリ、303，317…スイッチ、304…プリセット設定
情報生成部、312…データメモリ、313…スイッチ情報生
成部、314,510…参照画像切り換え情報、315…カメラ位
置情報/参照画像蓄積指令、316，508…参照画像メモ
リ、501…符号解読部、506…合成部、511…カメラ番号
情報/参照画像更新指令、513…表示装置、600…原画
像、602…参照画像、603…動き補償画像、605，606，60
7…動き補償後の代表点、608，609，610…動き補償前の
代表点、611，612，613…グローバル動きベクトル、200
0…参照画像メモリ制御情報。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｆターム(参考） 5C054 AA01 AA05 CA04 CC03 CG01 EA03 FC01 FC13 HA18 5C059 MA05 MA23 MC11 NN03 PP04 RB02 RC00 SS06 UA02 UA05 UA33 UA38 5C063 AA01 AB03 AB07 CA29 CA36 DA07 DA13 DB10 5J064 AA01 BA13 BA16 BB03 BC01 BC08 BC14 BC16 BD03

Claims (13)

    【特許請求の範囲】
  1. 【請求項１】首振りによって監視対象の撮影場所を変え
    るカメラからの入力画像に対して過去に符号化した画像
    の復号画像から入力画像の予測画像を生成し、入力画像
    と予測画像の間の差分画像を出力する予測器と、差分画
    像又は入力画像を符号化して符号化データを出力する符
    号化器と、監視対象の撮影場所毎の入力画像を保存する
    フレームメモリと、カメラの首振り開始時に、符号化対
    象の入力画像をカメラからの入力画像から該フレームメ
    モリに保存されている首振り終了後の撮影場所の過去の
    入力画像に切り換えるスイッチとを有することを特徴と
    する符号化装置。
  2. 【請求項２】首振りによって監視対象の撮影場所を変え
    るカメラからの入力画像に対して過去に符号化した画像
    の復号画像から入力画像の予測画像を生成し、入力画像
    と予測画像の間の差分画像を出力する予測器と、差分画
    像又は入力画像を符号化して符号化データを出力する符
    号化器と、監視対象の撮影場所毎の符号化データを保存
    するデータメモリとを備え、 カメラの首振り開始時に、出力する符号化データがカメ
    ラからの入力画像の符号化データからデータメモリ内に
    保存されている首振り終了後の撮影場所の過去の符号化
    データに切り換えられることを特徴とする符号化装置。
  3. 【請求項３】上記符号化器は、出力する符号化データの
    中にカメラが首振り中であることとその時刻とを示す時
    刻情報を合成することを特徴とする請求項１又は請求項
    ２に記載の符号化装置。
  4. 【請求項４】請求項１〜請求項３のいずれか一に記載の
    符号化装置から出力された符号化データを復号する復号
    装置であって、表示装置に首振り中であることを表示さ
    せるための表示信号を出力することを特徴とする復号装
    置。
  5. 【請求項５】請求項３に記載の符号化装置から出力され
    た符号化データを復号する復号装置であって、上記符号
    化データに含まれる首振り中であることを示す情報を復
    号することにより、表示装置に首振り中であることを表
    示させるための表示信号を出力することを特徴とする復
    号装置。
  6. 【請求項６】首振りによって監視対象の撮影場所を変え
    るカメラからの入力画像に対して過去に符号化した画像
    の復号画像から入力画像の予測画像を生成する段階と、
    現在の入力画像と予測画像の間の差分画像を出力する段
    階と、差分画像又は現在の入力画像を符号化して符号化
    データを出力する段階とを有し、 前記予測画像を生成する段階は、該予測画像に与える動
    きベクトルを上記入力画像と動き補償の対象となる参照
    画像とから検出する段階を含み、更に、 首振り中の符号化データ量と符号化演算量の関係から、
    首振り中の入力画像に対する符号化フレームレートと動
    きベクトルの推定精度が設定され、該符号化フレームレ
    ートと動きベクトルの推定精度は、上記入力画像全体の
    動きを示すグローバル動きベクトルと、ローカル動きベ
    クトルの検索を行なう際の探索範囲と、該入力画像に対
    する符号化フレームレートとをパラメータとし、首振り
    の度に首振り中の該パラメータを更新することによって
    得られ、該探索範囲はグローバル動きベクトルが示す位
    置を中心としていることを特徴とする符号化方法。
  7. 【請求項７】上記探索範囲は、縮小する方向に更新され
    ることを特徴とする請求項６に記載の符号化方法。
  8. 【請求項８】上記符号化フレームレートは、入力画像の
    持つフレームレートに近づく方向に更新されることを特
    徴とする請求項６に記載の符号化方法。
  9. 【請求項９】上記グローバル動きベクトルの更新が、ロ
    ーカル動きベクトルの検出後にフレーム内のローカル動
    きベクトルの発生頻度に応じて行なわれ、更に、首振り
    区間の符号化処理が終了した時点で、現在のフレームレ
    ートに対応するグローバル動きベクトルを更新されたフ
    レームレートに対応するように修正することによって行
    なわれることを特徴とする請求項６に記載の符号化方
    法。
  10. 【請求項１０】監視対象の撮影場所毎に備えたカメラか
    らの画像をカメラ切り換えによって得る入力画像に対し
    て過去に符号化した画像の復号画像を生成する局部復号
    器と、該局部復号器の出力を動き補償用の参照画像の候
    補として保存するフレームメモリと、該フレームメモリ
    から出力される参照画像を用いて入力画像の予測画像を
    生成し、入力画像と予測画像の間の差分画像を出力する
    予測器と、差分画像又は入力画像を符号化して符号化デ
    ータを出力する符号化器と、上記局部復号器より出力さ
    れる監視対象の撮影場所毎の復号画像をカメラ切換参照
    画像として保存する参照画像メモリと、カメラ切り換え
    時に、上記予測器入力画像の予測に用いる参照画像を上
    記フレームメモリより読み出される参照画像から上記参
    照画像メモリに保存されているカメラ切り換え後の撮影
    場所のカメラ切換参照画像に切り換えるスイッチと、上
    記参照画像メモリから読み出されるカメラ切換参照画像
    に対応するカメラの識別番号及びカメラ切換参照画像へ
    の切り換えが行なわれたことを表す切換情報を復号側に
    送出する通知手段とを備えていることを特徴とする符号
    化装置。
  11. 【請求項１１】上記通知手段は、上記参照画像メモリに
    保存されているカメラ切換参照画像の更新が行なわれた
    ときに、カメラ切換参照画像の更新が行なわれたことを
    表す更新情報を復号側に送出する手段を含んでいること
    を特徴とする請求項１０に記載の符号化装置。
  12. 【請求項１２】請求項１０に記載の符号化装置から出力
    された符号化データを復号する復号装置であって、該符
    号化データを復号して差分画像を出力する復号器と、過
    去の復号画像を動き補償用の参照画像として保存するフ
    レームメモリと、該フレームメモリから読み出される参
    照画像を用いて予測画像を生成し、該予測画像と上記差
    分画像から復号画像を生成する予測器と、該復号装置に
    送出された、カメラ切換参照画像に対応するカメラの識
    別番号及びカメラ切換参照画像への切り換えが行なわれ
    たことを表す切換情報を受信する受信手段と、監視対象
    の撮影場所毎の復号画像を上記カメラの識別番号を使っ
    て該カメラのカメラ切換参照画像として保存する参照画
    像メモリと、上記予測画像を生成するために用いる参照
    画像を上記切換情報に従って、上記フレームメモリから
    読み出される参照画像から上記参照画像メモリに保存さ
    れているカメラ切り換え後の撮影場所のカメラ切換参照
    画像に切り換えるスイッチとを有していることを特徴と
    する復号装置。
  13. 【請求項１３】上記受信手段は、上記参照画像メモリに
    保存されているカメラ切換参照画像の更新が行なわれた
    ことを表す更新情報を受信する手段を含んでおり、該参
    照画像メモリは、該更新情報に従ってカメラ切換参照画
    像の更新を行なうことを特徴とする請求項１２に記載の
    復号装置。
JP2002068602A 2002-03-13 2002-03-13 監視映像の符号化装置及び復号装置並びに符号化方法 Pending JP2003274410A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002068602A JP2003274410A (ja) 2002-03-13 2002-03-13 監視映像の符号化装置及び復号装置並びに符号化方法
US10/317,086 US20030174775A1 (en) 2002-03-13 2002-12-12 Encoding and decoding apparatus, method for monitoring images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002068602A JP2003274410A (ja) 2002-03-13 2002-03-13 監視映像の符号化装置及び復号装置並びに符号化方法

Publications (1)

Publication Number Publication Date
JP2003274410A true JP2003274410A (ja) 2003-09-26

Family

ID=28034980

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002068602A Pending JP2003274410A (ja) 2002-03-13 2002-03-13 監視映像の符号化装置及び復号装置並びに符号化方法

Country Status (2)

Country Link
US (1) US20030174775A1 (ja)
JP (1) JP2003274410A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006304176A (ja) * 2005-04-25 2006-11-02 Hitachi Kokusai Electric Inc ネットワーク伝送システム
JP2009188975A (ja) * 2008-01-11 2009-08-20 Sony Corp テレビ会議端末装置、画像送信方法
US8259157B2 (en) 2008-01-11 2012-09-04 Sony Corporation Teleconference terminal apparatus and image transmitting method
JP2013074616A (ja) * 2011-09-29 2013-04-22 Secom Co Ltd 画像監視装置およびプログラム
JP2015092650A (ja) * 2013-09-30 2015-05-14 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
JP2018511997A (ja) * 2015-03-10 2018-04-26 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像予測方法および関連装置
JP2020059330A (ja) * 2018-10-05 2020-04-16 株式会社デンソーテン 駐車支援装置および駐車支援方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004032459A (ja) * 2002-06-27 2004-01-29 Hitachi Ltd 監視システム、およびこれに用いるコントローラと監視端末
BRPI0506846B1 (pt) * 2004-01-30 2018-12-11 Thomson Licensing codificador de vídeo e método para codificar quadros de imagens divisíveis em macro-blocos
JP4597103B2 (ja) * 2006-08-30 2010-12-15 Ｏｋｉセミコンダクタ株式会社 動きベクトル探索方法及び装置
US8275041B2 (en) * 2007-04-09 2012-09-25 Nokia Corporation High accuracy motion vectors for video coding with low encoder and decoder complexity
JP2009027446A (ja) * 2007-07-19 2009-02-05 Olympus Corp 画像処理方法および画像処理装置
JP2010278668A (ja) * 2009-05-27 2010-12-09 Sony Corp 符号化装置及び符号化方法、並びに復号装置及び復号方法
US9082278B2 (en) * 2010-03-19 2015-07-14 University-Industry Cooperation Group Of Kyung Hee University Surveillance system
TW201145992A (en) * 2010-06-09 2011-12-16 Hon Hai Prec Ind Co Ltd PTZ camera and method for positioning objects of the PTZ camera
US9380314B2 (en) * 2010-12-20 2016-06-28 Texas Instruments Incorporated Pixel retrieval for frame reconstruction
CN102263958A (zh) * 2011-07-26 2011-11-30 中兴通讯股份有限公司 基于h264运动估计算法的初始点获取方法及装置
KR101939628B1 (ko) * 2012-05-30 2019-01-17 삼성전자주식회사 모션 검출 방법 및 모션 검출기
US9769473B2 (en) * 2012-06-08 2017-09-19 Apple Inc. Predictive video coder with low power reference picture transformation
EP3029936A1 (en) 2014-12-05 2016-06-08 Axis AB Method and device for real-time encoding
WO2017087751A1 (en) * 2015-11-20 2017-05-26 Mediatek Inc. Method and apparatus for global motion compensation in video coding system
WO2018169571A1 (en) * 2017-03-15 2018-09-20 Google Llc Segmentation-based parameterized motion models

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0148154B1 (ko) * 1994-06-15 1998-09-15 김광호 움직임크기에 따른 동영상데이타의 부호화방법 및 장치
US5926209A (en) * 1995-07-14 1999-07-20 Sensormatic Electronics Corporation Video camera apparatus with compression system responsive to video camera adjustment
US7075985B2 (en) * 2001-09-26 2006-07-11 Chulhee Lee Methods and systems for efficient video compression by recording various state signals of video cameras

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006304176A (ja) * 2005-04-25 2006-11-02 Hitachi Kokusai Electric Inc ネットワーク伝送システム
JP2009188975A (ja) * 2008-01-11 2009-08-20 Sony Corp テレビ会議端末装置、画像送信方法
JP4636139B2 (ja) * 2008-01-11 2011-02-23 ソニー株式会社 テレビ会議端末装置、画像送信方法
US8259157B2 (en) 2008-01-11 2012-09-04 Sony Corporation Teleconference terminal apparatus and image transmitting method
JP2013074616A (ja) * 2011-09-29 2013-04-22 Secom Co Ltd 画像監視装置およびプログラム
JP2015092650A (ja) * 2013-09-30 2015-05-14 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
JP2018511997A (ja) * 2015-03-10 2018-04-26 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像予測方法および関連装置
US10404993B2 (en) 2015-03-10 2019-09-03 Huawei Technologies Co., Ltd. Picture prediction method and related apparatus
US10659803B2 (en) 2015-03-10 2020-05-19 Huawei Technologies Co., Ltd. Picture prediction method and related apparatus
US11178419B2 (en) 2015-03-10 2021-11-16 Huawei Technologies Co., Ltd. Picture prediction method and related apparatus
JP2020059330A (ja) * 2018-10-05 2020-04-16 株式会社デンソーテン 駐車支援装置および駐車支援方法
JP7122211B2 (ja) 2018-10-05 2022-08-19 株式会社デンソーテン 駐車支援装置および駐車支援方法

Also Published As

Publication number Publication date
US20030174775A1 (en) 2003-09-18

Similar Documents

Publication Publication Date Title
JP2003274410A (ja) 監視映像の符号化装置及び復号装置並びに符号化方法
KR100945546B1 (ko) 동적 필터 부호화
JP4014263B2 (ja) 映像信号変換装置及び映像信号変換方法
KR100592651B1 (ko) 트랜스코딩 방법 및 장치
EP2384002B1 (en) Moving picture decoding method using additional quantization matrices
US20050220353A1 (en) Method for sub-pixel value interpolation
JP4703449B2 (ja) 符号化方法
JP4401336B2 (ja) 符号化方法
JP4983917B2 (ja) 動画像配信システム、変換装置および動画像配信方法
JPWO2006082690A1 (ja) 画像符号化方法および画像符号化装置
US20010038669A1 (en) Precise bit control apparatus with look-ahead for mpeg encoding
JP2000023194A (ja) 画像符号化方法及び装置、画像復号方法及び装置、並びに提供媒体
JP2000244927A (ja) 動画変換装置
JP2002125227A (ja) 画像情報変換装置及び方法
JP2009081622A (ja) 動画像圧縮符号化装置
KR100734141B1 (ko) 복수의 프레임을 참조하는 시간적 및 공간적 스케일러블인코딩 및 디코딩 방법과 그 장치
JPH11289515A (ja) 画像信号処理装置及び方法、画像信号記録装置及び方法並びに記録媒体
JP2000188735A (ja) 動きベクトル検出装置及びこれを用いた動画像符号化装置
JPH0884329A (ja) 画像通信端末装置
JP4301495B2 (ja) 動画像圧縮符号化装置
GB2379820A (en) Interpolating values for sub-pixels
JP2001346214A (ja) 画像情報変換装置及び方法
JP2002051345A (ja) 画像情報変換装置及び方法
KR100397133B1 (ko) 영상 데이터 압축 전송 시스템 및 그 방법
JP2003274412A (ja) 画像符号化方法および画像復号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060904

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070703

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071030