JP2003250158A - 動画像復号装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 伝送データに符号に誤りが生じた場合にも復
号画像の品質が大きく劣化することを抑える共に、誤り
によって一部のみが復号可能な場合でも効率良く復号で
きる。 【解決手段】 動画像復号化装置は、フレーム毎に複数
の領域に分割されて符号化され各領域の画像情報を復号
化する復号化手段と、この復号化手段で復号化された各
領域の画像情報を正しい順序に並べ換える領域並べ換え
手段とを備える。動画像復号方法は、フレーム毎に複数
の領域に分割されて符号化され各領域の画像情報を復号
化する復号化ステップと、この復号化ステップで復号化
された各領域の画像情報を正しい順序に並べ換える領域
並べ換えステップとを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＴＶ電話、ＴＶ会
議システム、携帯情報端末、デジタルビデオディスクシ
ステム、デジタルＴＶ放送システムのように、動画像を
伝送・蓄積する装置／システムおよび再生する装置／シ
ステムに設けられる動画像復号装置および方法に係り、
特に、画像を少ない情報量に圧縮符号化する装置および
圧縮符号化された情報を復元し画像を再生する装置に関
する。特に、無線伝送路のように誤りが生じやすい媒体
を介して符号化画像を伝送／蓄積する場合でも誤り耐性
が強く高品質に動画像の伝送／蓄積を行なうことができ
る動画像復号装置および方法に関する。

【０００２】

【従来の技術】近年、伝送・蓄積を効率的に行なうため
に画像情報を少ない情報量に圧縮符号化する技術とし
て、動き補償、離散コサイン変換、サブバンド符号化、
ピラミッド符号化等の個別の方式やこれらの幾つかを組
み合わせた方式などの様々な方式が開発され、提案され
ている。また、特に動画像を圧縮符号化するための国際
標準方式として、『ＩＳＯ−ＭＰＥＧ１，ＭＰＥＧ２，
ＩＴＵ−Ｔ・Ｈ．２６１，Ｈ．２６２』が規格化されて
いる。これらは、いずれも動き補償適応予測離散コサイ
ン変換符号化を用いた方式に含まれており、その詳細は
文献１“マルチメディア符号化の国際標準”（安田浩編
・著、丸善、平成３年６月刊行）等に述べられている。
ここで、ＭＰＥＧとはカラー動画像蓄積用符号化方式の
標準化作業を進めるための組織（Moving Picture Exper
ts Group）の名称であり、またこの組織により仕様が定
められた符号化方式の規格名としても用いられている。

【０００３】ここで、従来の動画像符号化装置の一例と
して動き補償適応予測離散コサイン変換を用いた符号化
装置の構成を図２９のブロック図に示す。符号化装置に
入力された画像３３１は、まず領域分割器３０１で定め
られた領域に分割される。そして、図３０（ａ）に示す
ように、左上の領域から右下の領域の順にブロック順で
符号化が行なわれ、図３０（ｂ）のようにフレーム同期
信号に連続する符号列が形成される。符号化器において
はまず動き補償適応予測が行なわれる。図２９におい
て、動き補償適応予測信号作成器３０４により、入力画
像とフレームメモリ３０５中に蓄えられておりかつ既に
符号化及び局部復号化が行なわれた画像との間の動きベ
クトルを検出し、動き補償予測信号を作成する。動き補
償予測および入力信号をそののまま符号化に用いるフレ
ーム内符号化（予測信号＝０）のうち符号化に用いて好
適な予測モードが選択され、対応する予測信号３３３が
出力される。

【０００４】減算器３０６において、入力信号３３１か
ら選択された予測信号３３３が減算され、予測残差信号
３３４が出力される。予測残差信号３３４は離散コサイ
ン変換器３０７において一定の大きさのブロック単位で
離散コサイン変換（ＤＣＴ）が行なわれ、さらに量子化
器３０８で量子化が行なわれる。量子化器からの出力は
２つに分岐され、一方は多重化器３０９で動きベクトル
との多重化が行なわれて出力される。もう一方は逆量子
化器３１２で逆量子化され、さらに逆離散コサイン変換
器３１３で逆離散コサイン変換（逆ＤＣＴ）が行なわれ
る。逆離散コサイン変換器３１３からの出力は加算器３
１４において適応予測信号３３３と加算が行なわれ、フ
レームメモリ３０５に記録される。

【０００５】このような従来の動画像符号化装置には以
下のような問題がある。まず、可変長符号においては一
箇所で誤りが生じると、可変長符号の同期外れが発生
し、その後の情報が正しく受信できたとしても誤った値
に復号されるという問題点がある。これにより一箇所の
誤りがその後の復号にも影響を及ぼし、大幅な画質劣化
につながる。そのため、従来は誤りが検出されると、次
フレームのフレーム同期信号（ＰＳＣ）まで情報を捨て
る等の処理がなされる。しかし、このような処理を行な
ったとしても、本来の情報量に比べ大幅に情報量が減少
するためやはり大きな画質劣化を生じる。

【０００６】このような問題を解決する方法として、１
９９４年度画像符号化シンポジウム（ＰＣＳＪ９４）に
おいて松村、中井から誤り耐性を考慮した動画像高能率
符号化方式が提案されている（文献２：“誤り耐性を考
慮した動画像高能率符号化方式”、松村・中井著、１９
９４年画像符号化シンポジウム、１−１、１９９４参
照）。動画像符号化では可変長符号が利用されるが、可
変長符号は誤りが生じると同期外れが生じる欠点が存在
する。しかし、可変長符号には誤りによる同期外れが生
じた場合にもそのまま復号することにより自動的に符号
語の切れ目が正しいものと一致し、同期回復をする特徴
もある（自己同期回復特性）。通常は同期回復しても、
どの領域に相当する情報かを特定することができず、同
期回復後の情報も利用不可能であった。上記方式では、
この可変長符号の自己同期回復特性を利用できるように
符号化系列の記述方法を従来の領域毎の並びから、図３
１のように情報の内容毎にまとめ、後部予測残差符号列
の領域単位の並びを変更した点に特徴がある。これによ
り、誤りが生じた場合でもそのまま次フレームのフレー
ム同期信号まで復号を行ない、前部で復号できたヘッダ
情報と共に、予測残差信号の復号値を時間的に後の方か
ら順に利用することができ、利用可能な情報の量を増加
させている。

【０００７】しかしながら、この方式にも以下のような
問題点がある。１フレームの情報に複数個の誤りが存在
するような誤り率の高い伝送路の場合、利用できる情報
が減少し効果が少なくなる。復号可能な領域が減少した
場合、復号できる確率の高い領域が画像の性質によらず
特定の箇所（画面上部）に偏ることになる。これは通常
の使用を考えた際、画面中央に重要な領域があることか
ら、背景等の重要度の低い領域のみを救済していること
になり、非効率的である。さらに、復号できた領域から
復号不可能となった領域を予測しようとした際、一部に
偏った領域から画面全体を予測しなければならず、予測
が困難である。また、前半のヘッダ情報で誤りが生じた
場合、後部予測残差情報が全て復号できたとしても前半
のヘッダ情報が復号できた領域しか復号できない。つま
り、後部の予測残差情報は前部ヘッダ情報に依存した情
報のため復号できた情報が無駄になっている。

【０００８】図３２は、従来の動画像復号装置の概略構
成を示すブロック図である。この復号装置は図２９に示
す符号化装置と逆の動作を行なうことにより復号画像信
号を得るものである。

【０００９】図３３は、従来のＤＣＴ係数のスキャンの
順序の例を示す図であり、図示のような経路によりジグ
ザグスキャンが行なわれていた。

【００１０】また、図３４はフレーム内に同期信号を挿
入した従来の符号化方式の一例を示すものであり、図３
４（ａ）のような領域の符号化を行なう際に、図３４
（ｂ）に示すようなｎブロックライン（ｎ≧１）単位で
同期信号を挿入することにより同期回復の機会を増やす
ようにしていた。

【００１１】

【発明が解決しようとする課題】前述のように、従来の
動画像符号化装置及び復号装置においては、符号に誤り
が生じると可変長符号の同期外れから復号画像の品質が
大きく低下してしまうという欠点があった。また、誤り
により画像の一部のみが復号可能な場合、領域毎の復号
可能確率が画像の特徴によらず特定の部分に偏り非効率
的であった。

【００１２】本発明は、符号の何れかの箇所に誤りが生
じた場合であっても、復号画像の品質が大きく劣化する
ことを抑えると共に、誤りにより符号の一部のみが復号
可能な場合でも効率良く復号できる動画像復号装置およ
び方法を提供することを目的とする。

【００１３】

【課題を解決するための手段】本発明の第１の構成に係
る動画像復号装置は、フレーム毎に複数の領域に分割さ
れて符号化され各領域の画像情報を復号化する復号化手
段と、この復号化手段で復号化された各領域の画像情報
を正しい領域並べ換え順序に並べ換える領域並べ換え手
段とを備えることを特徴とする。

【００１４】本発明の第２の構成に係る動画像復号装置
は、第１の構成において、前記復号化手段は、フレーム
毎に入力される画像信号を複数個のマクロブロック単位
で復号化することを特徴とする。

【００１５】本発明の第３の構成に係る動画像復号装置
は、第１または第２の構成の何れかにおいて、前記領域
並べ換え順序を記述した領域並べ換えテーブルをさらに
備えると共に、前記領域並べ換え手段は、前記並べ換え
テーブルの情報に基づいて前記領域の並べ換えを行なう
ことを特徴とする。

【００１６】本発明の第４の構成に係る動画像復号装置
は、第１ないし第３の構成の何れかにおいて、前記領域
並べ換え手段は、重要な情報が位置している画面の領域
を前記領域並べ換え順序の先頭にして当該領域を並べ換
えることを特徴とする。

【００１７】本発明の第５の構成に係る動画像復号装置
は、第１ないし第４の構成の何れかにおいて、前記領域
並べ換え手段は、画面の中央の領域を前記領域並べ換え
順序の先頭にして当該領域を並べ換えることを特徴とす
る。

【００１８】本発明の第６の構成に係る動画像復号方法
は、フレーム毎に複数の領域に分割されて符号化され各
領域の画像情報を復号化する復号化ステップと、この復
号化ステップで復号化された各領域の画像情報を正しい
領域並べ換え順序に並べ換える領域並べ換えステップと
を備えることを特徴とする。

【００１９】本発明の第７の構成に係る動画像復号方法
は、第６の構成において、前記復号化ステップは、フレ
ーム毎に入力される画像信号を複数個のマクロブロック
単位で復号化することを特徴とする。

【００２０】本発明の第８の構成に係る動画像復号方法
は、第６または第７の構成の何れかにおいて、前記領域
並べ換えステップにおける領域の並べ換えは、前記領域
並べ換え順序を記述した領域並べ換えテーブルの情報に
基づいて行なわれることを特徴とする。

【００２１】本発明の第９の構成に係る動画像復号方法
は、第６ないし第８の構成の何れかにおいて、前記領域
並べ換えステップは、重要な情報が位置している画面の
領域を前記領域並べ換え順序の先頭にして当該領域を並
べ換えることを特徴とする。

【００２２】本発明の第１０の構成に係る動画像復号方
法は、第６ないし第９の構成の何れかにおいて、前記領
域並べ換えステップは、画面の中央の領域を前記領域並
べ換え順序の先頭にして当該領域を並べ換えることを特
徴とする。

【００２３】

【発明の実施の形態】以下、本発明の実施の形態を説明
する。まず、動画像符号化装置の概念図である図１によ
り、全体構成を説明する。画像入力は符号化手段１０に
より圧縮符号化され、所定の配列の２つの符号列に形成
される。この符号化手段１０は、画面上を所定領域毎に
分割する領域分割手段１１と、分割された領域毎に例え
ば重要度等の基準により並べ換える領域並べ換え手段１
２と、並べ換えられた領域について２つの符号列を形成
する符号列形成手段１３と、を含んでいる。符号化手段
１０により形成された符号列は、符号列分割手段１４に
より分割され、次いで、符号列並べ換え手段１５により
１つのフレーム内を、このフレームを挟む２つのフレー
ム同期信号（ＰＳＣ）からフレーム中央に向かい正逆両
方向に並べ換えられる。この状態を示すのが図２のデー
タフレームである。

【００２４】図３は、本発明による動画像符号化装置の
第１の実施の形態のブロック図である。この実施の形態
は動き補償適応予測離散コサイン変換符号化方式を用い
た動画像符号化装置である。

【００２５】動き補償適応予測離散コサイン変換符号化
方式については前述の文献１等に詳しい説明があるので
動作の概略のみを説明し、従来方式との差異を詳細に説
明する。

【００２６】符号化装置に入力した画像１３１は、領域
分割器１０１において、予め定められた領域毎に分割さ
れた後、領域並べ変え器１０２に転送される。領域並べ
変え器では並べ変える順序を記述した領域並べ変えテー
ブル１０３の情報を基に並べ変えが行なわれ、各領域毎
に動き補償適応予測器１０４に転送される。領域の並べ
変えに関する部分は本発明の重要部分であるため、ブロ
ック図についての概略を説明した後、詳細に説明する。

【００２７】動き補償適応予測器１０４においては、す
でに符号化／復号化処理が終了した前フレームが格納さ
れているフレームメモリ１０５から呼び出された前フレ
ーム情報と、前記領域毎に分割された現フレーム情報と
を比較し、現フレームのその領域が前フレームのどの部
位から移動してきたか、つまり現フレームまでの間にそ
の領域にどの程度の動きがあったかを計算してこれを動
きベクトルとして表現する（この一連の操作を動き補償
と称する）。

【００２８】差分器１０６では、現フレームの各領域情
報から動き補償された前フレームの各領域情報が差し引
かれ、その差分情報（つまり前フレームに動き情報を考
慮しただけでは表しきれなかった現フレームの情報）が
離散コサイン変換器１０７、量子化器１０８にて符号化
される。各領域毎に、この符号化情報と動きベクトル情
報が多重化器１０９にて多重化され、さらに符号列分割
器１１０にて符号列を二つに分割し、次の符号列並べ変
え器１１１にて並べ変えが行なわれた後、伝送路に送出
されて受信側に送られる。この、符号列分割器１１０お
よび符号列並べ変え器１１１に関しても、本発明の重要
部分のため前記領域並べ変え器と同様に詳細は後述す
る。

【００２９】一方、符号化された各領域毎の情報は、逆
量子化器１１２、逆離散コサイン変換器１１３で動き補
償誤差として復号され、加算器１１４にて動き補償後の
前フレーム情報と動き補償誤差とが加算され現フレーム
情報が再生されてフレームメモリ内に格納される。

【００３０】従来の動き補償誤差符号化方式において
は、領域分割器１０１が領域を分割した後、図３０に示
される順で領域単位に符号化していたのに対し、本発明
では各領域に分割後、新たに領域並べ変え器１０２を付
加し領域の並べ変えを行なう。図４は、分割した領域を
どのような順序で並べ変えを行なうかを示した一例であ
る。このような領域の符号化順序を記憶した領域並べ変
えテーブル１０３を用意し、それを参照しながら領域並
べ変え器１０２では領域の並べ変えを行なう。本発明で
は領域並べ変え器１０２で並び変え符号化された符号列
を符号列分割器１１０において２つの符号列に分割す
る。図４の場合、（ａ）、（ｂ）それぞれに対応した第
１の符号列及び第２の符号列に分割する。

【００３１】そして、次の符号列並べ変え器１１１にお
いて、第１の符号列はフレーム同期信号に連続して前方
から後方へ順方向に並べ、第２の符号列は第１の符号列
に連続して後方から前方へ逆方向に並べ変え伝送路へ送
出する。図５は本発明における伝送路へ送出する符号列
の並べ方を記述したものである。これにより、２つに分
割した符号列のうち第１の符号列は現フレームのフレー
ム同期信号を見つけることで復号可能となり、第２の符
号列は次フレームのフレーム同期信号を見つけることに
より、その同期信号から逆方向に符号列が配列されてい
るので復号可能となる。よって、復号途中で誤りが発生
した場合、従来は次フレームのフレーム同期信号までの
情報を全て廃棄しなくてはならないため画質に大幅な劣
化を生じていたのに対し、本発明では一方の情報に誤り
が生じて復号できず、さらに可変長符号の同期はずれか
ら第１の符号列の終端部分が特定できない場合でも、第
２の符号列は次フレームのフレーム同期信号にのみ依存
しているため第１の符号列とは無関係に復号が可能とな
る。このように本発明は一方の符号列に生じた誤りの影
響が他方の符号列の復号に及ばない構造となっている。
これにより図３１の従来の符号化装置において問題とな
っていた前部情報に後部情報が依存する問題点を解決す
ることができる。

【００３２】さらに、一方の情報が欠落した場合、もし
くは両方の情報が途中までしか復号できなかった場合で
も領域の符号化順序を図４のように変更しているため、
復号できる領域が画面の特定領域に偏らなくすることが
できる。また、復号できた領域が画面全体に均一に存在
していることから、復号できた領域の情報を用いて復号
不可能となった領域を予測することが容易に行なうこと
ができる。これによって、現フレームの画像を完全とは
いかないまでも大幅な画質劣化を引き起こさないように
することができ、ある程度の高画質を有する画像として
復号することができる。

【００３３】第１の実施の形態として第１及び第２の発
明を合わせた例を挙げたが、特に第１及び第２の発明を
同時に用いる必要はなく、それぞれ独立に実現すること
も可能である。また、この第１の実施の形態は動き補償
適応予測離散コサイン変換符号化方式を用いていたが、
特にこの符号化方式である必要はなく他の画像符号化方
式に対しても利用可能である。

【００３４】図６及び図７は、領域並べ変えテーブルの
例を幾つか示したものである。例えば画面中央に重要な
情報（動き、顔等）があるような入力画像が中心のアプ
リケーションであれば、画面中央の領域が先頭に来るよ
うに情報を並べ変える。このように並べ換えを行なうこ
とで誤りが生じ可変長符号の同期外れが生じた場合でも
重要な領域の復号可能確率を従来より高くすることがで
きる。これは、誤りが生じた場合可変長符号の性質上後
部の情報ほど復号不可能となる確率が高くなることを考
慮した構成となっているためである。また、この他にも
動きベクトルの値等から画像の重要中心部を求め、その
座標の領域から図８に示されるように螺旋状に領域を符
号化することで各入力画像毎に並べ変えテーブルを切替
えてもしくは作成使用することも可能である。その際、
フレーム毎の符号列は、フレーム同期信号の後に前記重
要中心部座標を表す情報を挿入しておくなどして符号化
側と復号化側での整合性をとる必要がある。さらに、符
号化側と復号化側で同一の並べ変えテーブルを複数個用
意し、符号化側で画像に応じ適応的に切替え使用した並
べ変えテーブルの番号と合わせて受信側へ送出すること
で、並べ変えテーブルを切替えることも可能である。

【００３５】例えば、双方向復号可能な可変長符号を利
用した場合、順方向、逆方向に符号列を分割する必要は
なく、１つの符号列として順方向からも逆方向からも復
号できる。その際、符号列の並び方を図４，６，７及び
８にそれぞれ示されるような並び方にすることにより重
要な部分の復号確率を高くすることも可能である。その
一例として、図９に双方向復号可能な可変長符号を利用
した場合の符号列の並べ方を示す。図中の数字のついた
ブロックは、それぞれが符号化の際のマクロブロックに
相当するようなものを表しているとする。

【００３６】次に、第２の実施の形態に係る符号化装置
について説明する。図１０は第２の実施の形態の符号化
装置を示すブロック図である。図３と異なる点は、図１
１に示すように情報の分割が第１の実施の形態は画面全
体を２つの領域群に分割し、符号列分割器１１０でそれ
に対応する符号列に分割するのに対し、この実施の形態
は第１および第２の符号列それぞれが画面全体の全ての
の領域を含む変わりに各領域の符号列それぞれがＤＣＴ
係数列分割器２２０で２つに分割された一方のみを含ん
だものとすることにある。

【００３７】これにより、一方の情報が損失した場合で
も、他方の情報が復号可能であるならば、各領域毎に通
常の品質より多少は劣っていてもある程度の品質を有す
る画像が復号でき、第１の実施の形態に比較し画面全体
では均一な画質が得ることができる。この他にも、ＤＣ
Ｔ係数に限られず他の各情報も２つに分割し、符号化す
ることも可能である。

【００３８】各領域の情報を２つに分割する構成として
は、以下のような例があげられる。予測誤差信号を離散
コサイン変換して得られた係数を、従来は図３３のよう
にジグザクスキャンにより符号化していたのに対し、本
発明においては図１２のように奇数番目の係数と偶数番
目の係数とに分割する。また、図１３のように水平方向
の相関を強く反映する部分と垂直方向の相関を強く反映
する部分に分割することも可能である。さらに、上記の
例（図１２）が通常のジグザグスキャンを基にしてＤＣ
Ｔ係数列を分割しているのに対し、画像に合ったスキャ
ンを基にＤＣＴ係数を分割する構成とすることも本発明
では可能である。

【００３９】図１４は図１の動画号符号化装置に対応し
た動画像復号装置を示している。符号化装置から伝送／
蓄積された符号列はフレーム同期信号検出後、符号化順
序テーブル１１０３の情報を基に、各領域毎に予測誤差
信号を復号し、逆量子化器１１１２において逆量子化、
逆ＤＣＴ器１１１３で逆離散コサイン変換という一連の
処理を行なう。この際、読み込んだ符号列は符号列メモ
リ１１１６に同時に蓄えていく。前部第１の符号列を復
号終了した場合、もしはく何らかの誤りが生じ復号不可
能となった場合には、復号処理を停止し、次のフレーム
のフレーム同期信号まで符号列メモリ１１１６に符号列
を蓄え続ける。次フレームのフレーム同期信号を発見し
たら、符号列並べ変え器１１１７において符号列メモリ
１１１６の内容を最後から１ビットづつ逆に読みだし復
号を行なう。前部第１の符号列と同様に復号を行ない、
復号が終了もしくは誤りにより復号不可能となった場合
には復号処理を終了し、前部第１の情報と後部第２の情
報の復号できた情報を合わせて復号情報とする。

【００４０】そして、加算器１１１４で予測信号と加算
して再生画像を得る。再生画像は装置外へ出力されると
共にフレームメモリ１１０５へ記録される。上記のよう
な２つに符号列が分解され一方が順方向他方が逆方向に
並べられた符号列を復号することで、一方に誤りが存在
し復号不可能となった場合でも他方へは全く影響せず復
号を行なうことができる。さらに、領域並べ変えによっ
て符号化順序を変更していることから、誤り検出器１１
２６，１１２７によって誤りが検出された場合でも、復
号できた領域から復号不可能となった領域を予測し、補
間することが従来法に比べて容易となる。

【００４１】次に、誤り率が異なる２つの伝送路を用い
て伝送を行なう場合の符号化装置について説明する。誤
り率の異なる伝送路を用いて伝送する際、誤り率の低い
高品質な伝送路で誤った場合重大な影響を及ぼす重要な
情報を伝送し、誤り率の高い伝送路では重要度の低い情
報を伝送するといった階層化手段がしばしば用いられ
る。そこで、誤り率の低い伝送路（上位階層）、誤り率
の高い伝送路（下位階層）それぞれに転送される情報に
対し前記第１の実施の形態、第２の実施の形態と同様に
領域の並べ変え、符号列の分割、符号列の並べ変えを行
なうことで階層符号化に対しても同様に対応できる。図
１５は階層化と組み合わせた際の符号列の例を示したも
のである。この例は、領域の並べ変えを行ない符号化さ
れたもののうち、上位階層にはモード情報、動きベクト
ル等の重要な情報を入れ、下位階層には予測差信号をい
れる。

【００４２】そして、それぞれの階層で符号列を２つに
分割し一方を前方から後方へ順方向に、他方を後方から
前方へ逆方向に並べ変える。第１の実施の形態のように
符号列を分割する場合、上位階層と下位階層で同じ分割
の仕方をする方が上位階層と下位階層の整合性が正しく
とれる。しかし、１フレームの領域を２つに分割する
際、符号量がどちらか一方に偏るような場合には、上位
階層は誤り率が低いことを考慮して図１６のように符号
列の分割は行なわず１つの符号列で表し、下位階層のみ
符号列の分割を行なう。その際、下位階層の２つの符号
列の符号量が均等に近づくように、図４の（ａ）（ｂ）
に含まれる領域の個数を変える。つまり、図４（ａ）
（ｂ）に含まれる領域の数を等しくせず、上位階層のモ
ード情報等から動的に変化させる。このようにすること
で、下位階層の２つに分割した符号列の符号量が均等に
なるように分割することができる。

【００４３】これらの例は、予測誤差とそれ以外の情報
とで切り別けているが、動きベクトルの符号量に応じて
動きベクトルを上位階層、下位階層に振り分けたり、も
しくは動きベクトルの符号量が少なく上位階層に余裕の
ある場合には、予測誤差信号のＤＣＴ係数のうち幾つか
を上下階層に振り分ける等の操作を行なうことも可能で
ある。

【００４４】また、図１７に示すように、１つの伝送路
に対し重要度の高い情報を前部に配置し、重要度の低い
情報をそれに続いて配置するようなシステムにおいて
は、図１７（ａ）における重要度の高い符号列を順方向
に並べてから、重要度の低い符号列を逆方向に並べかえ
て重要度の高い符号列の後ろに配置するように適用する
（図１７（ｃ））ことで、図１７（ｂ）に示す従来の例
に比較して誤りが生じた場合でも多くの情報が正しく復
号可能になる。その際、上位階層の符号列（順方向の符
号列）の先頭に位置する情報に対応した下位階層の情報
ほど下位階層の符号列（逆方向の符号列）の先頭に位置
するように配置する。可変長符号化では先頭の情報の方
が正しく復号される確率が高いため、図１８のように本
実施の形態の方式を適用すると、上位は前部の情報ほ
ど、下位は後ろの同期信号に近い後部の情報ほど正しく
復号される確率が高い。

【００４５】したがって、ブロック等の単位毎に符号化
していく方式のうち、各単位毎の情報を上位・下位に分
割し符号化する階層符号化方式においては、上位の先頭
の情報に対応した下位の情報を後部（後部の同期信号の
近く）に配置する方が効率が良い。図１９にはその詳細
が示されている。この場合、図１９（ａ）のように配置
しないで、図１９（ｂ）のように配置すると、下位で正
しく復号できた情報に対応する上位の情報がないため、
符号語のレベルで復号できてもそこから画像信号を再生
することができなくなる。

【００４６】次に、本発明に係る動画像符号化装置及び
復号装置を階層符号化方式に適用するについては、上記
実施の形態のように階層化された符号列毎に本発明を適
用するのではなく、順方向に並べられた符号列と逆方向
に並べられた符号列とのそれぞれの符号列を階層化する
ようにしても良い。

【００４７】図２０は、符号列毎に階層化を行なう実施
の形態を説明するための符号列の構成を示している。図
２０に示されるように、この実施の形態においては２つ
に分割された符号列のそれぞれが階層化されているもの
であり、例えば、１フレームの画像を飛び越し走査（イ
ンタレース）して２つのフィールドに分割し、まず、そ
の一方のフィールドを順方向の符号列として構成し、他
方を逆方向の符号列として構成する。次に、それぞれの
符号列において、上位情報としては復号時に必ず必要と
なるような情報を配置し、下位情報としては例えば残差
部等を配置して階層化する。

【００４８】以上のように構成された階層化符号列は、
何れか一方が誤り等の発生により復号できない場合であ
っても、もう一方は完全に復号することができる。した
がって、上位情報と下位情報とをそれぞれ別個に階層化
するよりは容易かつ効率的に階層符号化を実施すること
が可能となる。また、上位情報が完全に復号されない
と、たとえ下位情報が復号されても利用することができ
ないようなシステムにおいても効率的な符号の階層化を
実現できる。下位情報が復号されても上位情報が復号さ
れないと利用することのできないシステムというのは、
例えば図１５の例において、上位情報と下位情報との間
に同期信号が挿入されていなかったり、上位情報の最後
を示すポインタ情報が付加されていない場合等が考えら
れる。したがって、図１５の実施の形態において、上位
情報・下位情報間に同期信号を挿入したり、ポインタ情
報等を付加したりすることによっても、上位情報が復号
されても下位情報が復号されない限り、何れの情報をも
利用できないという不具合は改善することが可能ではあ
るが、この実施の形態のように階層符号化することによ
り、格段に容易に上記不具合を解消できる。

【００４９】次に、この発明に係る動画像符号化装置に
おいて、動画像を３つの符号列に分割して符号化を行な
った実施の形態について図２１を参照しながら説明す
る。この実施の形態においては、上述した階層符号化の
概念を踏まえて動画像の符号化を行なうものであり、例
えば重要な情報を２つに分割して第１の符号列と第２の
符号列とを構成し、重要な情報の符号列に含まれなかっ
た情報についてさらに第３の符号列を構成するものであ
る。このような重要度にしたがった配列により第１ない
し第３の符号列を構成した後、具体的には図２１の下側
に図示のような配列で符号列を構成する。このような配
列で符号を並べることにより、重要な情報の保護を強化
することができる。

【００５０】例えば、図２１に示される実施の形態の階
層符号化を画像情報の符号化に適用する場合、重要情報
部にはモード情報や動きベクトル情報が割り当てられ、
これらの情報が画面の何れの位置に配置されているかを
考慮して２つの符号列に分割する。この分割に際して
は、重要情報用の２つの符号列の一方が誤り等により消
失した場合であっても、他方がその消失を補えるように
マクロブロックを市松模様状に選択して、市松模様の例
えば黒ブロックを第１の符号列に対応させ、白ブロック
を第２の符号列に対応させておくことにより、フラッシ
ング（flashing―明滅―）やコンシールメント（concea
lment ―隠蔽―）等の処理が容易に行なえるようにする
ことも可能である。このように、重要情報は第１及び第
２の符号列に分割して配列し、第３の符号列には残差部
を割り当てればよいが、第３の符号列自身の誤り耐性を
向上させるためにこの第３の符号列に固定長符号や双方
向に復号可能な可変長符号を配列させるようにしても良
い。

【００５１】以上のような構成は、符号列の二重化と組
み合わせることも可能である。第２の符号列を第１の符
号列と同一又はこれに準ずるものとし、図２１の下側に
示されたような配列に構成しておくことにより、通常は
第１の符号列を順方向についてのみ復号して動画像を再
生して利用すると共に、この第１の符号列に誤りが発生
した場合に、逆方向に第２の符号列を復号すれば誤りの
ない完全な画像情報を得ることができる。

【００５２】さらに、それぞれの符号列の配列の順序と
画面の位置関係について、例えば、第１の符号列を画面
の左上から右下へと対応画素の情報を当てはめ、第２の
符号列を画面の右下から左上へと当てはめることによ
り、符号語の何れかに誤りが生じても左上から右下に復
号した第１の符号列と、右下から左上へと復号した第２
の符号列とを重複して利用することができる。これによ
り、例えば何れかの符号列の何れかの箇所に誤りが発生
しても、第１及び第２の符号列を順方向及び逆方向に復
号していけば、互いを補うことが可能となり、復号可能
な情報の確率を向上させることができる。このように、
対になる符号列が構成されている順序を両方が誤りによ
り完全に復号できない場合でも互いに補い合える構成と
することにより、符号語の何れかに誤りが発生した際に
正しく復号できる情報の割合を高くすることができる。

【００５３】また、同期信号等を二重化した情報の先頭
に新たに付加する必要がないことから、単純に二重化す
る場合よりも効率が良くなる。この構成は、図２１に示
された配列に限定されず、一方の符号列を通常の符号列
とし、他方の符号列を予備の符号列とすることによりこ
の発明の他の実施の形態の何れに対しても適用可能であ
る。

【００５４】次に、上述した実施の形態の応用例とし
て、符号語の配列の順序を符号列単位で順方向及び逆方
向とするのではなく、より小さな情報の単位で符号語の
配列を順方向と逆方向とするように構成しても良い。上
述してきた実施の形態は何れも符号列を何らかの基準に
より２つの情報単位に分割し、一方を順方向に符号語を
配列し、他方を逆方向に配列するものとして説明してき
た。しかしながら、符号化の際に逆方向に並べられる符
号列は、一旦バッファに蓄積した後で並べ替えを行ない
出力する必要があることから、符号化が終了してからで
ないと並べ替えの処理を行なうことができず、処理動作
に遅延が発生してしまうという問題があった。

【００５５】そこで、情報の単位としては比較的大きい
符号列の単位により符号化を行なうのではなく、例えば
マクロブロック単位のような小さな単位により逆方向に
符号化することにより、処理動作の遅延を少なくするこ
とができる。このような実施の形態における構成が、図
２２に示されている。図２２において、マクロブロック
ＭＢ１からＭＢ１０の情報を半分に分割する際に、逆方
向に配列されるマクロブロックＭＢ６からＭＢ１０を一
纏めにして並べ替えるのではなく、それぞれのマクロブ
ロック毎に並べ替えて符号化することを意味している。

【００５６】ただし、このような実施の形態において
は、復号化器を用いてマクロブロックＭＢ１０から順に
復号する必要がある。しかしながら、通常の復号化器は
前のマクロブロックと後のマクロブロックとの差分を符
号化しておいてこの差分符号を用いて後のマクロブロッ
クを復号するというように、前のブロックの情報を後の
ブロックの復号に利用しているために、マクロブロック
ＭＢ１から順に復号しなくてはならない。

【００５７】そこで、この実施の形態においては、後ろ
の情報からでも復号できるように付加情報を付け加える
ことにより、上記のような順方向で復号しなくてはなら
ないという問題を克服している。例えば、動きベクトル
や量子化幅のような前の情報との差分を符号化するよう
な情報に対して、後ろからも復号可能なようにマクロブ
ロックＭＢ１０の動きベクトル及び量子化幅の実際の値
を付加情報として付け加えることにより、マクロブロッ
クＭＢ１０からでも復号を開始することが可能となる。
その後は、マクロブロックＭＢ１０の情報中にマクロブ
ロックＭＢ９との差分に関する情報が含まれていること
から、この情報を利用してマクロブロックＭＢ９の復号
を行なう。以下、同様にマクロブロックＭＢ８、ＭＢ
７、ＭＢ６のように順次に逆方向から復号することによ
り、一纏まりの情報を完全に復号化することが可能とな
る。この付加情報は、必ずしも図２２に示される位置に
付加される必要はなく、逆方向に並べられた符号語を復
号する前にその位置が特定できる箇所でありさえすれ
ば、何れの位置にでも付け加えることが可能である。

【００５８】以上、階層符号化についてその実施の形態
を述べたが、ここに述べた方式は特に上位階層、下位階
層といった重要度に差のある情報を符号化する際の符号
列の並べ方に特定するものではなく、同等の重要度を有
する２つの符号列に対しても同様の手法を適用できるこ
とは勿論である。

【００５９】また、上位・下位というの２階層のみに本
発明に係る符号化装置が適用されるだけではなく、多階
層の情報の纏まりに対しても上記と同様に本発明を適用
することが可能である。

【００６０】なお、以上の実施の形態では、符号列の並
べ変えをフレーム単位で行ないフレーム同期信号で同期
を取っているが、特にフレーム同期信号である必要はな
く、第１の符号列の前の第２の符号列の後ろに同期信号
があれば全ての場合で利用可能である。例えば、１フレ
ームの中に複数個の同期信号が存在する場合（図３０
（ａ）の１行づつに同期信号が挿入されている場合
等）、従来は図３０（ｂ）に示すように行毎にフレーム
内同期信号を挿入したものを、図３０（ｃ）のように同
期信号から同期信号までを単位として領域並べ変え、符
号列分割、および符号列の並べ変えを１行内で行なうこ
とも可能である。即ち、図３０（ｂ）の従来例のように
従来並べ変えられていたものを図３０（ｃ）のように行
なうことも可能である。

【００６１】また、図２３は１フレームを複数シンクブ
ロックで構成する方式に重要領域から並べる方式を適用
した図である。この方式のように、フレーム同期信号
（ＰＳＣ）以外にフレーム内に同期信号を挿入し、誤っ
た場合でも利用不可能な情報が少なくなるようにするも
のは図３４に示すように従来から用いられている。この
フレーム内を同期信号によって分割した各シンクブロッ
クに対し、図２３に示すように例えば（ａ）のような順
で符号化したものを第１のシンクブロックに対応させ、
（ｂ）の順で符号化したものを第２のシンクブロックに
対応させることで、どちから一方が誤りにより損失した
場合でも、他方が補う構造とすることができる。また重
要ブロックから並べることで、重要ブロックほど正しく
復号できる確率が高くなる。

【００６２】上記実施の形態は、符号列の両端に同期符
号を付することにより、双方向の復号を可能としている
が、本発明は符号列を復号する前に符号列の最後の部分
を特定できるものであれば、同期信号は特に必要ではな
い。以下、この同期符号を用いない方式に係る実施の形
態について説明する。１フレーム分または数マクロブロ
ック分の情報のような所定単位の情報を固定長符号化し
て出力するような符号化システムの場合、復号側では同
期信号等を特に頼りにすることなく、順方向に並べられ
た符号列と、逆方向に並べられた符号列と、のそれぞれ
の先頭を特定することができる。図２４は、この固定長
符号化された符号列に本発明に係る符号化装置を適用し
た例を示している。この例においては、Ｎ個のマクロブ
ロック（ＭＢ）を合わせてｍビットになるように固定長
化されている符号列に本発明を適用した実施の形態が示
されている。この実施の形態において、図２５に示すよ
うに、逆方向に並べられている符号列の先頭は必ずｍビ
ット毎に存在するために、上述したように同期信号を符
号列中に介挿する必要がなくなり、規則的に正しく復号
することができる。

【００６３】次に上記の構成とは異なり、上記所定の単
位で情報が固定長にはなっていないシステムにおいて
も、同期信号によらずに逆方向に並べられた符号列の先
頭位置を特定することのできる実施の形態について説明
する。この実施の形態に係るシステムにおいては、逆方
向の符号列の先頭がどの箇所に位置付けられているかを
特定できる情報を付加して符号列を出力するように構成
されている。図２６がこの実施の形態に係る符号列を示
している。先頭を示すポインタ情報を、同期を取ること
が可能なフレームヘッダまたはこれに準ずる位置に配置
することにより、復号器側においてはこのポインタ情報
を用いて逆方向に並べられた符号列の先頭を特定してこ
れらの符号列を復号する。このように、同期信号の代わ
りに所定単位で符号列の最後が特定できるように構成し
ておくことにより、本発明は可変長符号化方式であって
も実施が可能となる。

【００６４】次に、第１の実施の形態と、第２の実施の
形態における、復号装置での高速再生の動作について説
明する。高速順方向再生の場合、フレームの先頭を示す
フレーム同期信号を受信後、順方向に記述されている前
部の第１の符号列のみ前記復号処理により復号を行ない
次フレームへ処理を進める。逆方向に並べ変えられた第
２の符号列に相当する情報は、第１の符号列により復号
された情報を用いて補間等を行なうことで対応する。

【００６５】高速逆方向再生の場合高速順方向再生と同
様に、逆方向にフレーム同期信号を探し、フレーム同期
信号を受信後逆方向に並べ変えられた第２の符号列のみ
復号を行なう。この際、動き補償適応予測符号化を用い
ている場合には前フレームの画像が必要なため、動き補
償を用いていないフレームのみを選択していく必要があ
る。

【００６６】図２７は、この発明に係る動画像符号化及
び復号装置を無線通信システムに応用した第３の実施の
形態を示すものである。図２７において無線通信システ
ムは、画像伝送系２０と画像再生系３０とを含み、ネッ
トワーク４０の設けられた基地局４１を介して画像の伝
送や受信が行なわれる。

【００６７】画像伝送系２０は、画像信号入力部２１
を、誤り耐性処理部２３を備える情報源符号化部２２
と、伝送路符号化部２４と、無線部２５と、を備えてお
り、情報源符号化部２２においては離散コサイン変換
（ＤＣＴ）や量子化等が行なわれ、また、伝統路符号化
部２４においては、符号化データの誤り検出や訂正等が
行なわれる。

【００６８】また、画像再生系３０は、無線部３１、伝
統路復号化部３２、誤り耐性処理部３４を含む情報源復
号化部３３と、画像信号出力部３５と、を備えている。

【００６９】図２８は、この発明に係る動画像符号化装
置及び復号装置が適用される一例を示すものであり、図
示のように、無線通信ネットワーク４０の基地局４１、
４２、４３を介して、ラップトップタイプのパソコン５
１やデスクトップのパソコン５２等の端末５０により動
画像の伝送及び受信が行なわれる。

【００７０】

【発明の効果】以上説明したように、本発明によれば、
伝送／蓄積の際に発生する符号の誤りに起因する復号画
像の品質劣化が小さい動画像復号装置および方法を提供
することができる。

【００７１】動画像符号化における符号化情報を複数の
符号情報群に分割し、少なくとも符号情報群の１つを順
方向、他の１つを逆方向に記述することで、一方の情報
に誤りが発生しても他方の情報から復号を行なうことに
より、動画像情報の復号効率の向上を図ることができ、
また、復号された画像の品質が大幅に劣化するのを防止
することもできる。

【００７２】また、動画像符号化において、符号化によ
り１つの入力画像から２つの独立した符号列を出力する
場合、入力画像を分割した各領域の符号化順序をそれぞ
れ別々の順序で符号化することで、両方の情報に途中で
誤りが発生し復号不可能になった場合でも復号可能な部
分が画像の一部に偏ることがなくなり、画面の全体もし
くは重要な部分が優先的に再生可能となる。

【図面の簡単な説明】

【図１】この発明による動画像符号化装置の基本概念を
示すブロック図。

【図２】図１の符号化装置により形成される符号化列を
示す図。

【図３】本発明の第１の実施の形態による動画像符号化
装置のブロック図。

【図４】本発明の動画像符号化装置の領域並べ変え順序
の一例を示す図。

【図５】本発明の動画像符号化装置によって符号化され
た符号列を示す図。

【図６】本発明の動画像符号化装置の領域並べ変え順序
の例を示す図。

【図７】本発明の動画像符号化装置の領域並べ変え順序
の例を示す図。

【図８】本発明の中心領域が指定された場合の領域並べ
変え順序の例を示す図。

【図９】本発明を双方向復号可能符号に対応させた場合
の符号列の並べ方を示す図。

【図１０】本発明の第２の実施の形態による動画像符号
化装置のブロック図。

【図１１】本発明の第１の実施の形態と第２の実施の形
態との相違点を示す図。

【図１２】本発明のＤＣＴ係数のスキャン順序の例を示
す図。

【図１３】本発明のＤＣＴ係数のスキャンを水平、垂直
方向の相関を考慮した順序に分割する例を示す図。

【図１４】本発明の実施の形態による動画像復号装置の
ブロック図。

【図１５】本発明の階層符号化に対応させた実施例を示
す図。

【図１６】本発明の階層符号化に対応させた実施例を示
す図。

【図１７】本発明の階層符号化方式と従来の階層符号化
方式の例を示す図。

【図１８】本発明の階層符号化に対応させた実施の形態
を示す図。

【図１９】本発明の階層符号化に対応させた実施の形態
の誤り発生時を示す図。

【図２０】本発明を階層符号化に適用させた実施の形態
を示す図。

【図２１】本発明を３つの符号列に対応させた場合の符
号列の構成を示す図。

【図２２】本発明で処理動作の遅延を少なくできる場合
の符号列の構成を示す図。

【図２３】本発明の重要領域から並べる方式を１フレー
ムを複数シンクブロックで構成する方式に適用した図。

【図２４】本発明を固定長符号に適用した実施の形態に
おける符号列の構成を示す図。

【図２５】本発明を固定長符号に適用した実施の形態の
他の符号列の構成を示す図。

【図２６】本発明を付加情報を用いて実施する実施の形
態の符号列を示す図。

【図２７】本発明に係る動画像符号化装置及び復号装置
を無線通信システムに応用した実施の形態を示す図。

【図２８】本発明に係る動画像符号化装置及び復号装置
を無線通信システムに応用した実施の形態を示す図。

【図２９】従来の動画像符号化装置のブロック図。

【図３０】従来の動画像符号化装置の符号化順序を示す
図。

【図３１】従来の動画像符号化装置によって符号化され
た符号列を示す図。

【図３２】従来の動画像復号装置のブロック図。

【図３３】従来のＤＣＴ係数のスキャン順序の例を示す
図。

【図３４】従来のフレーム内に同期信号を挿入した例を
示す図。

【符号の説明】

１０１，１０２，１０３ 領域分割器 １０２，２０２ 領域並べ変え器 １０３，２０３，１１０３ 領域並べ変えテーブル １０４，２０４，３０４，１１０４，１２０４ 動き補
償器 １０５，２０５，３０５，１１０５，１２０５ フレー
ムメモリ １０６，２０６，３０６ 差分器 １０７，２０７，３０７ 離散コサイン変換器 １０８，２０８，３０８ 量子化器 １０９，２０９，３０９ 多重化器 １１０ 符号列分割器 １１１，２１１ 符号列並べ変え器 １１２，２１２，３１２，１１１２，１２１２ 逆量子
化器 １１３，２１３，３１３，１１１３，１２１３ 逆離散
コサイン変換器 １１４，２１４，３１４，１１１４，１２１４ 加算器 １１１５，１２１５ 非多重化器 １１１６ 符号列メモリ １１１７ 符号列並べ変え器 １１１９ 画像信号並べ変え器 ２２０ ＤＣＴ係数列分割器 ２２１ ＤＣＴ係数列合成器 １２２，１２３，２２２，２２３，３２２，３２３ 可
変長符号化器 １１２４，１１２５，１２２４，１２２５ 可変長復号
化器 １１２６，１１２７ 誤り検出器 １３１，２３１，３３１ 入力画像信号 １３３，２３３，３３３ 予測信号 １３４，２３４，３３４ 予測残差信号

───────────────────────────────────────────────────── フロントページの続き (72)発明者 菊 池 義 浩 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 (72)発明者 中 條 健 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 5C059 MA00 MA23 MA31 MC11 MC38 ME01 PP04 RA04 RB01 RB12 RC02 RC14 RC16 RC26 RE06 RF01 RF27 RF28 SS02 SS07 SS10 SS13 SS17 SS18 TA42 TA74 TA76 TB07 TB08 TC22 TC34 UA02 UA05 UA06

Claims (10)

【特許請求の範囲】
1. 【請求項１】フレーム毎に複数の領域に分割されて符号
   化された各領域の画像情報を復号化する復号化手段と、
   この復号化手段により復号化された各領域の画像情報を
   正しい領域並べ換え順序に並べ換える領域並べ換え手段
   とを備えることを特徴とする動画像復号装置。
2. 【請求項２】前記復号化手段は、フレーム毎に入力され
   る画像信号を複数個のマクロブロック単位で復号化する
   ことを特徴とする請求項１に記載の動画像復号装置。
3. 【請求項３】前記領域並べ換え順序を記述した領域並べ
   換えテーブルを更に備えると共に、前記領域並べ換え手
   段は、前記並べ換えテーブルの情報に基づいて前記領域
   の並べ換えを行なうことを特徴とする請求項１または請
   求項２の何れかに記載の動画像復号装置。
4. 【請求項４】前記領域並べ換え手段は、重要な情報が位
   置している画面の領域を前記領域並べ換え順序の先頭に
   して当該領域を並べ換えることを特徴とする請求項１な
   いし請求項３の何れかに記載の動画像復号装置。
5. 【請求項５】前記領域並べ換え手段は、画面の中央の領
   域を前記領域並べ換え順序の先頭にして当該領域を並べ
   換えることを特徴とする請求項１ないし請求項４の何れ
   かに記載の動画像復号装置。
6. 【請求項６】フレーム毎に複数の領域に分割されて符号
   化された各領域の画像情報を復号化する復号化ステップ
   と、この復号化ステップで復号化された各領域の画像情
   報を正しい領域並べ換え順序に並べ換える領域並べ換え
   ステップとを備えることを特徴とする動画像復号方法。
7. 【請求項７】前記復号化ステップは、フレーム毎に入力
   される画像信号を複数個のマクロブロック単位で復号化
   することを特徴とする請求項６に記載の動画像復号方
   法。
8. 【請求項８】前記領域並べ換えステップにおける領域の
   並べ換えは、前記領域並べ換え順序を記述した領域並べ
   換えテーブルの情報に基づいて行なわれることを特徴と
   する請求項６または請求項７の何れかに記載の動画像復
   号方法。
9. 【請求項９】前記領域並べ換えステップは、重要な情報
   が位置している画面の領域を前記領域並べ換え順序の先
   頭にして当該領域を並べ換えることを特徴とする請求項
   ６ないし請求項８の何れかに記載の動画像復号方法。
10. 【請求項１０】前記領域並べ換えステップは、画面の中
    央の領域を前記領域並べ換え順序の先頭にして当該領域
    を並べ換えることを特徴とする請求項６ないし請求項９
    の何れかに記載の動画像復号方法。