JP2003023641A

JP2003023641A - 動画像符号化装置

Info

Publication number: JP2003023641A
Application number: JP2002133197A
Authority: JP
Inventors: Yuriko Tsukahara; 由利子塚原; Toshiaki Watanabe; 敏明渡邊
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2002-05-08
Filing date: 2002-05-08
Publication date: 2003-01-24

Abstract

(57)【要約】【課題】実質的に動きの無い画像を含む動画像に対
し、例え高域の多い画像でも不要に符合量を多くするこ
と無く必要情報を送ることにより、受信側で高品質の画
像を再生できるようにすること。【解決手段】動画像が変化しても背景などの動きのな
い部分を含む場合、変化のある高周波成分のみを符号化
して送信し、前記背景などの動きのない部分は符号化し
て送信しないようにすることにより、実質的に動きの無
い画像を含む動画像に対し、例え高域の多い画像でも不
要に符合量を多くすること無く必要情報を送ることによ
って高品質の画像を再生することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、階層符号化方式に
おいて、符号の冗長化を防止でき且つ、高品質の画像を
再生できる動画像符号化装置に関する。

【０００２】

【従来の技術】次世代の低帯域通信網としてＡＴＭ（As
yncronous Transffer Mode）を利用したＢ−ＩＳＤＮが
有望視されている。また、ＡＴＭを用いるテレビ会議な
どの動画像を伝送する方式として、セル廃棄に耐性のあ
る階層符号化方式が検討されている。階層符号化方式の
一例としては、ＰＣＳＪ９０（ピクチャー・コーディン
グ・シンポジウム・ジャパン′９０）に発表された「Ａ
ＴＭ用動画像符号化方式に関する一検討」（９−３）の
例がある。

【０００３】上記「ＡＴＭ用動画像符号化方式に関する
検討」に記載の動画像符号化の再生装置の送信器の構造
を図７に示す。図８は、階層符号化方式に利用されるデ
ータ構造（ＣＩＦフォーマット）の説明図である。

【０００４】まず、データ構造について示すと、図８に
おいて、一画面に相当するフレーム１は１２のグループ
２に分割され、各グループ２は３３のマクロブロック
（ＭＢ）３に分割される。各マクロブロック３は８×８
の輝度ブロック４の４個の集合から成る。各マクロブロ
ック３に対しては８×８のＵ成分色差ブロック５とｖ成
分色差ブロック６とが対応され、各色差ブロック５、６
はそれぞれ２倍（１６×１６）化されてマクロブロック
３に重ね合わされる。

【０００５】次に、送信器の構造を示すと、図７におい
て、送信器７の入力端子８は、フレーム内符号化情報
（以下、イントラ（ｉｎｔｒａ）情報と称す）を入力す
るイントラ端子９と、減算器１０と、動き補償回路（Mo
tion Compensation）１１とに分岐されて接続されてい
る。減算器１０は、前記イントラ情報に対応するフレー
ム間符号化情報であるインター（ｉｎｔｅｒ）情報を入
力するインター端子１２と接続されている。イントラ端
子９とインター端子１２は、切換えスイッチＳＷ１を介
して変換回路（ＤＣＴ）１３と接続されるようになって
いる。変換回路１３は、量子化回路（Ｑｕａｎｔ．）１
４と接続され、この量子化回路１４は、第１ＶＬＣ回路
１５と、第２ＶＬＣ回路１６と接続される誤差量子化回
路１７と接続されている。量子化回路１４はステップサ
イズ設定端子１８と接続される。誤差量子化回路１７
は、ステップサイズ設定端子１９と接続される。各ＶＬ
Ｃ回路１５、１６はそれぞれの出力端子２０、２１と接
続される。

【０００６】さらに、前記量子化回路１４は、逆量子化
回路（Ｄｅｑｕａｎｔ．）２２、逆変換回路２３、加算
器２４の直列回路と接続される。加算器２４の出力端
は、前述の動き補償回路１１とも接続されるフレームメ
モリ２５と接続される。フレームメモリ２５の出力端は
前記減算器１０の入力端と接続されている。また、フレ
ームメモリ２５の出力端はインター端子２６と接続され
ている。このインター端子２６と空端子２７は前記切換
えスイッチＳＷ１と連動操作される切換えスイッチＳＷ
２を介して前記加算器２４の入力端と接続されるように
なっている。

【０００７】送信器７の作用を示すと、まずイントラ情
報ではスイッチＳＷ１、ＳＷ２は端子９、２７とそれぞ
れ接続され、入力端子８から入力されたデータは変換回
路を介してブロック単位で量子化回路１４に入力され、
ステップサイズＱで量子化され、第１ＶＬＣ回路１５を
介して可変長符号化され出力端子２０から通信網へ出力
される。以上が階層符号化の第１段階である。量子化回
路１４で発生された誤差は誤差量子化回路１７において
ステップサイズＱｅ（Ｑｅ＜Ｑ）で量子化され、第２Ｖ
ＬＣ回路１６を介して端子２１から出力される。以上が
階層符号化の第２段階で、この符号化方式は２段階から
成る階層符号化方式である。

【０００８】一方、インター情報では、ステッチＳＷ
１、ＳＷ２は端子１２、２６と接続される。入力画像は
マクロブロック３に分けられて減算器１０で前フレーム
との差分をとり、変換回路１３において離散コサイン変
換され、量子化回路１４においてステップサイズＱで量
子化される。この情報は逆量子化回路２２と逆変換回路
２３を経て加算器２４で前フレームの参照分を加算され
てフレームメモリ２５に蓄えられ、前記減算器１０の入
力端に入力される。よって、減算器１０は画像の変化分
のみを出力することができる。動き補償回路１１は動き
ベクトルゼロのとき、出力をゼロとさせることができ
る。通信網では、第２段階の符号化情報セルを第１段階
のものに優先して廃棄することにより、フレーム間予測
及び動き補償時のエラー伝搬を極力おさえることができ
る。

【０００９】同様の効果をもつ方式として、他に変換回
路１３による変換後の変換係数を低域部と高域部に分
け、低域部を第１段階、高域部を第２段階として伝送す
る方式などがある（参考：真鍮他、「Ｈ２６１を基本と
した可変ルート階層符号化方式の検討」ピクチヤー・コ
ーテイング・シンポジウム・ジャパン″９０）（９−
６）。これらの符号化方式は、いずれも第１段階までの
情報即ち低域変換係数を用いたぼやけた画像を参照フレ
ームとしてフレーム間予測又は動き補償を行うものであ
った。

【００１０】

【発明が解決しようとする課題】セル廃棄対策のない通
常の方式では、伝送したい情報の全てをつかった参照フ
レームを用いてフレーム間予測や動き補償をおこなうの
で、一度高域まで送られた部分は、特に変化がない限
り、再び情報を伝送する必要がない。よって背景部分な
どは一度に伝送されると以後殆ど更新の必要がない。し
かし上記に説明したように、セル廃棄対策のため一部の
段階まのでの情報を用いた低域のみの画像を参照フレー
ムとして用いる従来方式では、低域交換係数を用いたぼ
やけた画像を参照フレームとしてフレーム問予測または
動き補償を行うものであったため、フレーム間差分をと
る毎に高域成分があらわれると、毎フレームについてこ
の高域情報を伝送し直さなければならない。つまり符合
量を増加させている。また、動きベクトルがゼロの場合
にはその画像を全て伝送しないような方式であったた
め、動きベクトルが送信画像とぼやけた像との間で算出
されているような場合、本来の動きゼロの状態が確実に
捉えられておらず、送るべき画像を送らない状態が生
じ、伝送品質を低下させているという問題があった。

【００１１】そこで、本発明は、動画像の背景部分な
ど、実質的に動きの無い画像を含む動画像に対し、例え
高域の多い画像でも不要に符合量を多くすること無く必
要情報を送ることができ、受信側で高品質の画像を再生
することができる動画像符号化装置を提供することを目
的とする。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に、本発明の第１の特徴は、動画像のフレームを所定数
の画像ブロックに分けた後、各ブロックを低周波成分の
第１階層と、その他の第２階層とに別けて階層符号化し
て送信する動画像符号化装置において、前記動画像のフ
レームを所定数の画像ブロックと前記第１階層で符号化
されたブロックを復号化して得た画像ブロックとの差分
をとる差分手段と、前記差分手段により得られた差分を
符号化して送信する符号化送信手段とを具備することに
ある。

【００１３】上記発明によれば、前記動画像のフレーム
を所定数の画像ブロックと前記第１の階層で符号化され
たブロックを復号化して得た画像ブロックとの差分をと
り、得られた差分を符号化して送信する。動画像が変化
したフレームでも、静止画像部分のように変化していな
い部分を重複送信することがなくなり、符号化して送信
する符合量を低減させつつ、再生側（受信側）は実質的
に動きの無い画像についてのみ前フレームの画像を用い
て再生するため、再生画像を高品質とすることができ
る。

【００１４】

【発明の実施の形態】以下、添付図面を参照して本発明
の実施例を説明する。図１は本発明の一実施例に係る動
画像符号化装置の送信部分のブロック図、図２はその受
信器部分のブロック図を示す。図１において、図７で示
した送信器７の各部材と同一機能を果す部材には同一符
号を用いて示す。また、データ構造は図８のものを用い
るものとする。

【００１５】本例の送信器２８は、図７に示す送信器７
に対し、変換回路１３の出力端に減算器２９が接続さ
れ、その出力端に誤差量子化回路３０が接続され、その
出力端は前記第２ＶＬＣ回路１６に接続されている。ま
た、この誤差量子化回路３０の出力端には、逆量子化回
路３１は加算器３２と逆変換回路３３と加算器３４と第
２フレームメモリ３５と減算器３６の直列回路が接続さ
れている。前記加算器３２の一入力端には前記逆量子化
回路２２の出力端と接続されている。逆量子化回路２２
の出力は前記減算器２９の一入力端にも出力される。前
記スイッチＳＷ２から入力される信号は前記加算器３４
に入力されるようになっている。

【００１６】さらに、前記フレームメモリ２５を第１フ
レームメモリとして、その後段には帝域フイルタ３７が
介在されている。そして、前記減算器３６、動き補償回
路１１、量子化回路１４の各出力端は、実質的に動きの
無いブロック（無意ブロック）を検出して、これを送信
しないよう量子化回路１４、誤差量子化回路３０を制御
する無意ブロック判別制御回路（Significant ＭＢ）Ｓ
ＭＢと接続されている。各ＶＬＣ回路の後段にはバッフ
ァ３８、３９が設けられている。

【００１７】以上の送信器２８の構成において、イント
ラ情報では、スイッチＳＷ１、ＳＷ２は端子９、２７と
それぞれ接続されている。送信ブロックは離散コサイン
変化を行う変換回路１３及び量子化回路１４を介して第
１ＶＬＣ回路１５に入力され、可変長符号化される。

【００１８】インター情報に対してはスイッチＳＷ１、
ＳＷ２は端子１２、２６とそれぞれ接続され、減算器１
０を介して差分信号が出力され可変長符号化される。た
だし現マクロブロックが無意ブロックの場合は、変換係
数はゼロクリアされる。無意ブロックの判別方式につい
ては図３以下で詳述する。量子化回路１４で量子化され
たマクロブロック３は、第１ＶＬＣ回路１５において可
変長符号化され伝送される。また逆量子化と逆変換が回
路２２、２３において行われ、加算器２４を介して第１
フレームメモリ２５に蓄えられる。

【００１９】第２段階の符号化方式を説明する。第２段
階では、減算器２９において、変換回路１３で変換され
た計数値と、量子化回路１４で量子化され逆量子化回路
２２で逆量子化された量子化値との差分がとられ、誤差
量子化回路３０において任意の方法で再び量子化され
る。ただし送信ブロックが無意ブロックの場合、差分は
ゼロクリアされる。さらに第２ＶＬＣ回路１６において
可変長符号化され伝送される。また逆量子化回路３１、
逆変換回路３３において第１段階の情報をも合わせた情
報が逆量子化及び逆変換され、加算器３４を介して第２
フレームメモリ３５に蓄えられる。ただし送信ブロック
が無意の場合は書き替えを行わない。

【００２０】一方、図２に示すように受信器３０は、前
記出力端子２０、２１から出力され、ＡＴＭ網を介して
入力されだデータをそれぞれ入力するデータ入力端子４
０、４１を有し、各端子に、復合回路４２、４３と、逆
量子化回路４４、４５の直列回路がそれぞれ接続されて
いる。逆量子化回路４４の出力端は逆変換回路４６と接
続され、他方の逆量子化回路４５は加算器４７を介して
他の逆変換回路４８と接続されている。この加算器４７
には逆量子化回路４４の出力情報が入力され、逆量子化
回路４５の出力と加算されて逆変換回路４８に入力され
る。

【００２１】前記逆変換回路４６の出力端は加算器４９
と接続されている。この加算器４９の出力端は第３フレ
ームメモリ５０とフィルタ回路５１の直列回路と接続さ
れている。このフイルタ回路５１の出力端子５２は、切
換えスイッチＳＷ３を介して前記加算器４９の一入力端
と接続されている。スイッチＳＷ３はイントラ情報では
端子５３側にインター情報に対しては前記端子５２側に
切換えられるものである。

【００２２】前記スイッチＳＷ３と切換え接続される端
子５３は、前記逆変換回路４８の出力端と接続される加
算器５４の一入力端と接続される。加算器５４の出力端
にはスイッチ操作回路５５と切換え端子５６が接続さ
れ、このスイッチ操作回路５５で切換え操作されるスイ
ッチＳＷ４を介してディスプレイ５７と接続される。前
記スイッチＳＷ４は、前記端子５６または他の端子５８
側と接続されるようになっており、この端子５８と前記
スイッチＳＷ４との間には、スイッチＳＷ４が端子５８
と接続されたとき、前記ディスプレイ５７に対し前フレ
ームの出力信号をそのまま出力するための第４フレーム
メモリ５９が接続されている。

【００２３】以上の構成の受信器３９において、スイッ
チＳＷ３はイントラ情報に対しては端子５３と接続さ
れ、インター情報に対して端子５２と接続されている。
また、スイッチＳＷ４は、前述の無意情報に対しては端
子５８と接続されるが、有意ブロック情報に対しては端
子５６と接続されている。

【００２４】従って、イントラ情報に関しては、加算器
５４で全段階の情報が加算されてデイスブレイ表示され
る。また、インター情報では、第１段階の符号化情報は
逆量子化回路４４、逆変換回路４６を経たのち第３フレ
ームメモリ５０に蓄えられる。第２段階の符号化情報は
復号回路４３、逆量子化回路４５を経たのち第１段階の
情報と合わせて逆変換回路４８において逆変換され、参
照画像であるフレームメモリ５０の内容を加算し、第４
フレームメモリ５９に蓄えられる。ただし、符号化情報
即ちフレーム間差分情報や動きベクトル情報がないマク
ロブロックの場合には、第４フレームメモリ５９を書き
替えない。また画面の該当部分も更新しない。

【００２５】誤差について補足すると、本発明方式で
は、誤差は送信ブロックから前フレームの該当ブロック
（低域のみ）を差し引いたフレーム問予測誤差と、送信
ブロックから前フレームの該当ブロックと動きベクトル
の合成値を引いた動き補償後の誤差と、送信ブロックか
ら前フレームのきれいな該当ブロック（低域成分と他の
成分の合成値）を引いた有意／無意判定のための誤差の
３種類に分けられる。

【００２６】ここに、通常の方式では、動きベクトルと
動き補償後の誤差を送る。または動き補償後の誤差がゼ
ロのとき動きベクトルのみ送る。または動きベクトルが
ゼロのときフレーム間予測誤差を送る。または動きベク
トルのフレーム間予測誤差もゼロのとき何も送らない。

【００２７】これに対し、発明方式の場合は、動きベク
トルがゼロのときフレーム間予測を送る場合について、
有意／無意判定のための誤差を特に計算して有意／無意
判定を行う。無意ならば強制的に何も送らないこととし
てしまうことで、高域の送り直しを防ぎ、本当に動いて
いるものの他、動きはないが何かの変化が起きている有
意ブロックのみを残している。

【００２８】図３は無意ブロックの判別制御手段ＳＭＢ
における無意ブロック判別方式の一例を示すロフーチヤ
ートである。ステップ３０１では、イントラ情報または
インター情報が判別される。ステップ３０２では、動き
ベクトルがゼロであるか否かが判別される。ステップ３
０３では、送信ブロックと第２フレームメモリ３５との
差分の２乗平均値σ² を閾値Ｔｈｒと比較する。インタ
ー情報で、動きベクトルがゼロで、かつσ²＜Ｔｈｒの
とき、当該送信ブロックは無意情報（無意ブロック）で
あると判別する。その他の送信ブロックはステップ３０
５で全て有意情報（有意ブロック）であるとする。無意
ブロックは、実質的に動きの無いブロックであることを
意味する。

【００２９】一般に、動きベクトルは、ぼやけた画像と
送信画像との問で算出されるので、実質的に動きの有る
ブロックを動きが無いと判別してしまう。これに対し、
本例では、ステップ３０３を追加しσ²＜Ｔｈｒのと
き、無意ブロックであると判別するので、より確実に実
際動作を検出し、受信器３９において高品質の画像を再
生できる。

【００３０】即ち、受信器３９のスイッチ操作回路５５
は、有意または無意ブロックに応じてスイッチＳＷ４を
操作し、有意ブロックについては加算器５４の出力をそ
のままデイスプレイ５７に表示し、力、つ第４フレーム
メモリに蓄積する。そして、無意ブロックでは、スイッ
チＳＷ４を端子５８に接続し、第４フレームメモリ５９
の記憶内容を充当する。

【００３１】図４は他の無意ブロック判別方式を示す。
ステップ４０１、４０２はステップ３０１、３０２と同
様である。ステップ４０３は、送信ブロックと第２フレ
ームメモリ３５との差分を離散コサイン変換し、所定の
ステップサイズで量子化すると非ゼロになる係数が存在
するか否かを判別するものである。有ればステップ４０
５へ移行してこれは有意ブロックであるとする。動きベ
クトルがゼロで、かつ非ゼロ係数が無しの場合、これは
無意ブロックであるとする。これにより、より確実に動
きの無い画像を検出し、高品質の画像を再生できる。

【００３２】図５は、ａを変換回路１３において離散コ
サイン変換を行う情報の２乗平均値、または量子化回路
１４において量子化を行った後の情報の２乗平均値と
し、ｂを送信ブロックと第２フレーム３５との差分の２
乗平均値（σ²）とし、ａ≧ｂで無意ブロックを判別す
るものである。

【００３３】図６は、さらに他の無意ブロック判別方式
を示すフローチャートである。本例では、ステップ６０
３で量子化回路１４で量子化後、全ての係数の量子化値
がゼロとなる場合を判別し、これがゼロの場合に当該ブ
ロックを無意ブロックであるとするものである。

【００３４】図４〜図６の判別方式を採用する場合に
は、図２に示す無意ブロック判別制御回路ＳＭＢの信号
入力線を適宜接続変更すれば良い。また、図３〜図６の
ステップ３０４、４０４、５０４、６０４に示す判別方
式は、適宜組み合わせて使用することができる。

【００３５】以上により、本例の動画像符号化装置によ
れば、第１、第２の量子化回路１４、３０を介して低域
及び高域の画像を階層符号化方式にて符号化し送信する
のでセル廃棄対策に対し対応でき、かつインター情報に
おいて動きベクトルがゼロである場合には、ステップ３
０４、４０４、５０４、６０４に示した判別を追加する
ことにより実質的に動きの無い画像についてのみ前フレ
ームの画像を用いることができ、セル廃棄対策のため生
じた符号の冗長性をなくし、対策のない場合とほぼ同等
の画質が得られる。

【００３６】本発明は、上記実施例に限定されるもので
はなく、本発明の要旨を逸脱しない範囲で適宜変形して
実施し得る。

【００３７】

【発明の効果】以上詳細に説明したように、本発明によ
れば、動画像が変化した場合、変化のある高周波成分の
み送信し、背景などの動きのない部分の重複送信を避け
ることにより、実質的に動きの無い画像を含む動画像に
対し、例え高域の多い画像でも不要に符合量を多くする
こと無く必要情報を送ることができ、受信側で高品質の
画像を再生することができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る動画像符号化装置の送
信部分の構成を示すブロック図。

【図２】上記動画像符号化装置の受信器部分の構成を示
すブロック図。

【図３】上記送信器の無意ブロック判別制御回路の無意
ブロック判別方式を示すフローチャート。

【図４】他の無意ブロック判別方式を示すフローチャー
ト。

【図５】その他の無意ブロック判別方式を示すフロート
チャート。

【図６】さらに他の無意ブロック判別方式を示すフロー
チャート。

【図７】従来の動画像符号化装置の一例を示すブロック
図。

【図８】ＣＩＦフオーマットによるデータ構造を示す説
明図。

【符号の説明】

３マルチブロック１１動き補償回路１３変換回路１４量子化回路２２、３１逆量子化回路２５第１フレームメモリ２３、３３逆変換回路３０誤差量子化回路３５第２フレームメモリ５０第３フレームメモリ５５スイッチ操作回路５９第４フレームメモリＳＭＢ無意ブロック判別制御回路

フロントページの続きＦターム(参考） 5C059 MA05 MA23 MA32 MC11 MC38 ME01 PP04 PP16 RB02 RB14 RB17 SS07 TA21 TB07 TC02 TC03 TC04 TC06 TC12 TC13 TC27 TD03 TD05 TD12 UA02 UA05 UA33 5J064 AA01 BA13 BA16 BB01 BC01 BC08 BC14 BC16 BD02 BD03

Claims

【特許請求の範囲】

【請求項１】動画像のフレームを所定数の画像ブロッ
クに分けた後、各ブロックを低周波成分の第１階層と、
その他の第２階層とに別けて階層符号化して送信する動
画像符号化装置において、前記動画像のフレームを所定数の画像ブロックと前記第
１階層で符号化されたブロックを復号化して得た画像ブ
ロックとの差分をとる差分手段と、前記差分手段により得られた差分を符号化して送信する
符号化送信手段と、を具備することを特徴とする動画像符号化装置。
【請求項２】動画像のフレームを所定数の画像ブロッ
クに分けた後、各画像ブロックを直交変換符号化して、
低周波成分の第１階層とその他の第２階層とに分離して
送信する動画像符号化装置において、前記直交変換された画像ブロックと前記第１階層の画像
信号として直交変換後、量子化された画像ブロックを逆
量子化して得られた画像ブロックとの差分を得る差分手
段と、前記差分手段により得られた差分画像を前記第２階層の
画像信号として送信する送信手段と、を具備することを特徴とする動画像符号化装置。