JP2006141044A - 動画像符号化装置および方法 - Google Patents

Abstract

【課題】伝送データに符号の誤りが生じた場合でも復号画像の品質を大きく劣化させずに、誤りにより一部しか復号できない場合でも効率良く復号できる符号化手段を提供する。
【解決手段】フレーム毎に入力される画像信号を複数個の領域に分割する領域分割手段と、分割された各領域に対する領域単位の並べ換え順序を示す情報を記述した領域並べ換えテーブルを作成して分割された領域を並べ換える領域並べ換え手段と、前記領域並べ換え順序に従って前記領域分割手段により分割された各領域の前記画像信号を符号化すると共に前記領域並べ換えテーブルを符号化する符号化手段を備える。
【選択図】図１

Description

本発明は、ＴＶ電話、ＴＶ会議システム、携帯情報端末、デジタルビデオディスクシステム、デジタルＴＶ放送システムのように、動画像を伝送・蓄積する装置／システムおよび再生する装置／システムに設けられる動画像符号化装置および方法に係り、特に、画像を少ない情報量に圧縮符号化する装置および圧縮符号化された情報を復元し画像を再生する装置に関する。特に、無線伝送路のように誤りが生じやすい媒体を介して符号化画像を伝送／蓄積する場合でも誤り耐性が強く高品質に動画像の伝送／蓄積を行なうことができる動画像符号化装置および方法に関する。

近年、伝送・蓄積を効率的に行なうために画像情報を少ない情報量に圧縮符号化する技術として、動き補償、離散コサイン変換、サブバンド符号化、ピラミッド符号化等の個別の方式やこれらの幾つかを組み合わせた方式などの様々な方式が開発され、提案されている。また、特に動画像を圧縮符号化するための国際標準方式として、『ＩＳＯ−ＭＰＥＧ１，ＭＰＥＧ２，ＩＴＵ−Ｔ・Ｈ．２６１，Ｈ．２６２』が規格化されている。これらはいずれも動き補償適応予測離散コサイン変換符号化を用いた方式に含まれており、その詳細は非特許文献１等に述べられている。ここで、ＭＰＥＧとはカラー動画像蓄積用符号化方式の標準化作業を進めるための組織（Moving Picture Experts Group）の名称であり、またこの組織により仕様が定められた符号化方式の規格名としても用いられている。

ここで、従来の動画像符号化装置の一例として動き補償適応予測離散コサイン変換を用いた符号化装置の構成を図２９のブロック図に示す。符号化装置に入力された画像３３１は、まず領域分割器３０１で定められた領域に分割される。そして、図３０（ａ）に示すように、左上の領域から右下の領域の順にブロック順で符号化が行なわれ、図３０（ｂ）のようにフレーム同期信号に連続する符号列が形成される。符号化器においては、まず動き補償適応予測が行なわれる。図２９において、動き補償適応予測信号作成器３０４により、入力画像とフレームメモリ３０５中に蓄えられておりかつ既に符号化及び局部復号化が行なわれた画像との間の動きベクトルを検出し、動き補償予測信号を作成する。動き補償予測および入力信号をそのまま符号化に用いるフレーム内符号化（予測信号＝０）のうち符号化に用いて好適な予測モードが選択され、対応する予測信号３３３が出力される。

減算器３０６において、入力信号３３１から選択された予測信号３３３が減算され、予測残差信号３３４が出力される。予測残差信号３３４は離散コサイン変換器３０７において一定の大きさのブロック単位で離散コサイン変換（ＤＣＴ）が行なわれ、さらに量子化器３０８で量子化が行なわれる。量子化器からの出力は２つに分岐され、一方は多重化器３０９で動きベクトルとの多重化が行なわれて出力される。もう一方は逆量子化器３１２で逆量子化され、さらに逆離散コサイン変換器３１３で逆離散コサイン変換（逆ＤＣＴ）が行なわれる。逆離散コサイン変換器３１３からの出力は加算器３１４において適応予測信号３３３と加算が行なわれ、フレームメモリ３０５に記録される。

このような従来の動画像符号化装置には以下のような問題がある。まず、可変長符号においては、一箇所で誤りが生じると、可変長符号の同期外れが発生し、その後の情報が正しく受信できたとしても誤った値に復号されるという問題点がある。これにより一箇所の誤りがその後の復号にも影響を及ぼし、大幅な画質劣化につながる。そのため、従来は誤りが検出されると、次フレームのフレーム同期信号（ＰＳＣ）まで情報を捨てる等の処理がなされる。しかし、このような処理を行なったとしても、本来の情報量に比べ大幅に情報量が減少するためやはり大きな画質劣化を生じる。

このような問題を解決する方法として１９９４年度画像符号化シンポジウム（ＰＣＳＪ９４）において松村、中井から誤り耐性を考慮した動画像高能率符号化方式が提案されている（非特許文献２参照）。動画像符号化では可変長符号が利用されるが、可変長符号は誤りが生じると同期外れが生じる欠点が存在する。しかし、可変長符号は誤りによる同期外れが生じた場合もそのまま復号することにより、自動的に符号語の切れ目が正しいものと一致し、同期回復をする特徴もある（自己同期回復特性）。通常は同期回復しても、どの領域に相当する情報かを特定することができず、同期回復後の情報も利用不可能であった。上記方式では、この可変長符号の自己同期回復特性を利用できるように符号化系列の記述方法を従来の領域毎の並びから、図３１のように情報の内容毎にまとめ、後部予測残差符号列の領域単位の並びを変更した点に特徴がある。これにより、誤りが生じた場合でもそのまま次フレームのフレーム同期信号まで復号を行ない、前部で復号できたヘッダ情報と共に、予測残差信号の復号値を時間的に後の方から順に利用することができ、利用可能な情報の量を増加させている。

しかしながら、この方式にも以下のような問題点がある。１フレームの情報に複数個の誤りが存在するような誤り率の高い伝送路の場合、利用できる情報が減少し効果が少なくなる。復号可能な領域が減少した場合、復号できる確率の高い領域が画像の性質によらず特定の箇所（画面上部）に偏ることになる。これは通常の使用を考えた際、画面中央に重要な領域があることから、背景等の重要度の低い領域のみを救済していることになり、非効率的である。さらに、復号できた領域から復号不可能となった領域を予測しようとした際、一部に偏った領域から画面全体を予測しなければならず、予測が困難である。また、前半のヘッダ情報で誤りが生じた場合、後部予測残差情報が全て復号できたとしても前半のヘッダ情報が復号できた領域しか復号できない。つまり、後部の予測残差情報は前部ヘッダ情報に依存した情報のため復号できた情報が無駄になっている。

図３２は、従来の動画像復号装置の概略構成を示すブロック図である。この復号装置は図２９に示す符号化装置と逆の動作を行なうことにより復号画像信号を得るものである。

図３３は、従来のＤＣＴ係数のスキャンの順序の例を示す図であり、図示のような経路によりジグザグスキャンが行なわれていた。

また、図３４はフレーム内に同期信号を挿入した従来の符号化方式の一例を示すものであり、図３４（ａ）のような領域の符号化を行なう際に、図３４（ｂ）に示すようなｎブロックライン（ｎ≧１）単位で同期信号を挿入することにより同期回復の機会を増やすようにしていた。
"マルチメディア符号化の国際標準"（安田浩編・著、丸善、平成３年６月刊行） "誤り耐性を考慮した動画像高能率符号化方式"、松村・中井著、１９９４年画像符号化シンポジウム、１−１、１９９４

前述のように、従来の動画像符号化装置及び復号装置においては、符号に誤りが生じると可変長符号の同期外れから復号画像の品質が大きく低下してしまうという欠点がある。また、誤りにより画像の一部のみが復号可能な場合、領域毎の復号可能確率が画像の特徴によらず特定の部分に偏り、非効率的であった。

本発明は、符号の何れかの箇所に誤りが生じた場合であっても、復号画像の品質が大きく劣化することを抑えると共に、誤りにより符号の一部のみが復号可能な場合でも効率良く復号できる動画像符号化装置および方法を提供することを目的とする。

本発明の第１の構成に係る動画像符号化装置は、フレーム毎に入力される画像信号を複数個の領域に分割する領域分割手段と、この領域分割手段により分割された各領域に対する領域単位の並べ換え順序を示す情報を記述した領域並べ換えテーブルを作成して分割された領域を並べ換える領域並べ換え手段と、前記領域並べ換えテーブルに記述された領域並べ換え順序に従って前記領域分割手段により分割された各領域の前記画像信号を符号化すると共に前記領域並べ換えテーブルを符号化する符号化手段とを備えることを特徴とする。

本発明の第２の構成に係る動画像符号化装置は、第１の構成において、前記領域分割手段は、フレーム毎に入力される画像信号を複数個のマクロブロック単位に分割することを特徴とする。

本発明の第３の構成に係る動画像符号化装置は、第１または第２の構成の何れかにおいて、前記領域並べ換えテーブルに記述された前記領域並べ換え順序を示す情報は、領域並べ換え順序を示す順序数であることを特徴とする。

本発明の第４の構成に係る動画像符号化装置は、第１ないし第３の構成の何れかにおいて、前記領域並べ換え手段は、重要な情報が位置している画面の領域を前記領域並べ換え順序の先頭にして当該領域を並べ換えることを特徴とする。

本発明の第５の構成に係る動画像符号化装置は、第１ないし第４の構成の何れかにおいて、前記符号化手段は、前記分割された各領域を、前方から後方へ順方向に並ぶ第１の符号列と、後方から前方へ逆方向に並ぶ第２の符号列と、にそれぞれ符号化すると共に、前記第１の符号列を前方から後方へ順方向に復号し、前記第２の符号列を後方から前方へ逆方向に復号する復号化手段をさらに備えることを特徴とする。

本発明の第６の構成に係る動画像符号化方法は、フレーム毎に入力される画像信号を複数個の領域に分割する領域分割ステップと、この領域分割ステップで分割された各領域に対する領域単位の並べ換え順序を示す情報を記述した領域並べ換えテーブルを作成して分割された領域を並べ換える領域並べ換えステップと、前記領域並べ換えテーブルに記述された領域並べ換え順序に従って前記領域分割ステップにより分割された各領域の前記画像信号を符号化すると共に前記領域並べ換えテーブルを符号化する符号化ステップとを備えることを特徴とする。

本発明の第７の構成に係る動画像符号化方法は、第６の構成において、前記領域分割ステップでは、フレーム毎に入力される画像信号が複数個のマクロブロック単位に分割されることを特徴とする。

本発明の第８の構成に係る動画像符号化方法は、第６または第７の構成の何れかにおいて、前記領域並べ換えテーブルに記述された前記領域並べ換え順序を示す情報は、領域並べ換え順序を示す順序数であることを特徴とする。

本発明の第９の構成に係る動画像符号化方法は、第６ないし第８の構成の何れかにおいて、前記領域並べ換えステップでは、重要な情報が位置している画面の領域を前記領域並べ換え順序の先頭にして当該領域を並べ換えることを特徴とする。

本発明の第１０の構成に係る動画像符号化方法は、第６ないし第９の構成の何れかにおいて、前記符号化ステップは、前記各領域の画像信号を、前方から後方へ順方向に並ぶ第１の符号列と後方から前方へ逆方向に並ぶ第２の符号列とにそれぞれ符号化すると共に、前記第１の符号列を前方から後方へ順方向に復号し、前記第２の符号列を後方から前方へ逆方向に復号する復号化ステップをさらに備えることを特徴とする。

以上説明したように、本発明によれば、伝送／蓄積の際に発生する符号の誤りに起因する復号画像の品質劣化が小さい動画像符号化装置および方法を提供することができる。

動画像符号化における符号化情報を複数の符号情報群に分割し、少なくとも符号情報群の１つを順方向、他の１つを逆方向に記述することで、一方の情報に誤りが発生しても他方の情報から復号を行なうことにより、動画像情報の復号効率の向上を図ることができ、また、復号された画像の品質が大幅に劣化するのを防止することもできる。

また、動画像符号化において、符号化により１つの入力画像から２つの独立した符号列を出力する場合、入力画像を分割した各領域の符号化順序をそれぞれ別々の順序で符号化することで、両方の情報に途中で誤りが発生し復号不可能になった場合でも復号可能な部分が画像の一部に偏ることがなくなり、画面の全体もしくは重要な部分が優先的に再生可能となる。

以下、本発明の実施の形態を説明する。まず、動画像符号化装置の概念図である図１により、全体構成を説明する。画像入力は符号化手段１０により圧縮符号化され、所定の配列の２つの符号列に形成される。この符号化手段１０は、画面上を所定領域毎に分割する領域分割手段１１と、分割された領域毎に例えば重要度等の基準により並べ換える領域並べ換え手段１２と、並べ換えられた領域について２つの符号列を形成する符号列形成手段１３と、を含んでいる。符号化手段１０により形成された符号列は、符号列分割手段１４により分割され、次いで、符号列並べ換え手段１５により１つのフレーム内を、このフレームを挟む２つのフレーム同期信号（ＰＳＣ）からフレーム中央に向かい正逆両方向に並べ換えられる。この状態を示すのが図２のデータフレームである。

第１実施形態

図３は、本発明による動画像符号化装置の第１の実施の形態のブロック図である。この実施の形態は動き補償適応予測離散コサイン変換符号化方式を用いた動画像符号化装置である。

動き補償適応予測離散コサイン変換符号化方式については前述の文献１等に詳しい説明があるので動作の概略のみを説明し、従来方式との差異を詳細に説明する。

符号化装置に入力した画像１３１は、領域分割器１０１において、予め定められた領域毎に分割された後、領域並べ変え器１０２に転送される。領域並べ変え器では並べ変える順序を記述した領域並べ変えテーブル１０３の情報を基に並べ変えが行なわれ、各領域に動き補償適応予測器１０４に転送される。領域の並べ変えに関する部分は本発明の重要部分であるため、ブロック図についての概略を説明した後、詳細に説明する。

動き補償適応予測器１０４においては、すでに符号化／復号化処理が終了した前フレームが格納されているフレームメモリ１０５から呼び出された前フレーム情報と、前記領域毎に分割された現フレーム情報とを比較して、現フレームのその領域が前フレームのどの部位から移動してきたか、つまり、現フレームまでの間にその領域にどの程度の動きがあったかを計算してこれを動きベクトルとして表現する（この一連の操作を動き補償と称する）。

差分器１０６では、現フレームの各領域情報から動き補償された前フレームの各領域情報が差し引かれ、その差分情報（つまり前フレームに動き情報を考慮しただけでは表しきれなかった現フレームの情報）が離散コサイン変換器１０７、量子化器１０８にて符号化される。各々の領域毎に、この符号化情報と動きベクトル情報が多重化器１０９にて多重化され、さらに符号列分割器１１０にて符号列を二つに分割し、次の符号列並べ変え器１１１にて並べ変えが行なわれた後、伝送路に送出されて受信側に送られる。この符号列分割器１１０および符号列並べ変え器１１１に関しても、本発明の重要部分のため前記領域並べ変え器と同様に詳細は後述する。

一方、符号化された各々の領域毎の情報は、逆量子化器１１２、逆離散コサイン変換器１１３で動き補償誤差として復号され、加算器１１４にて動き補償後の前フレーム情報と動き補償誤差とが加算され現フレーム情報が再生されてフレームメモリ内に格納される。

従来の動き補償誤差符号化方式においては、領域分割器１０１が領域を分割した後、図３０に示される順で領域単位に符号化していたのに対し、本発明の実施形態においては各領域に分割後、新たに領域並べ変え器１０２を付加し領域の並べ変えを行なう。図４は、分割した領域をどのような順序で並べ変えを行なうかを示した一例である。このような領域の符号化順序を順序数として記憶した領域並べ変えテーブル１０３を用意し、それを参照しながら領域並べ変え器１０２では領域の並べ変えを行なう。本発明では領域並べ変え器１０２で並び変え符号化された符号列を符号列分割器１１０において２つの符号列に分割する。図４の場合、（ａ）、（ｂ）それぞれに対応した第１の符号列及び第２の符号列に分割する。

そして、次の符号列並べ変え器１１１において、第１の符号列はフレーム同期信号に連続して前方から後方へ順方向に並べ、第２の符号列は第１の符号列に連続して後方から前方へ逆方向に並べ変え伝送路へ送出する。図５は本発明における伝送路へ送出する符号列の並べ方を記述したものである。これにより、２つに分割した符号列のうち第１の符号列は現フレームのフレーム同期信号を見つけることで復号可能となり、第２の符号列は次フレームのフレーム同期信号を見つけることにより、その同期信号から逆方向に符号列が配列されているので復号可能となる。

よって、復号途中で誤りが発生した場合、従来は次フレームのフレーム同期信号までの情報を全て廃棄しなくてはならないため画質に大幅な劣化を生じていたのに対し、本発明では一方の情報に誤りが生じて復号できず、さらに可変長符号の同期はずれから第１の符号列の終端部分が特定できない場合でも、第２の符号列は次フレームのフレーム同期信号にのみ依存しているため第１の符号列とは無関係に復号が可能となる。このように本発明は一方の符号列に生じた誤りの影響が他方の符号列の復号に及ばない構造となっている。これにより図３１の従来の符号化装置において問題となっていた前部情報に後部情報が依存する問題点を解決することができる。

さらに、一方の情報が欠落した場合、もしくは両方の情報が途中までしか復号できなかった場合でも領域の符号化順序を図４のように変更しているため、復号できる領域が画面の特定領域に偏らなくすることができる。また、復号できた領域が画面全体に均一に存在していることから、復号できた領域の情報を用いて復号不可能となった領域を予測することが容易に行なうことができる。これによって、現フレームの画像を完全とはいかないまでも大幅な画質劣化を引き起こさないようにすることができ、ある程度の高画質を有する画像として復号することができる。

第１の実施の形態として第１及び第２の発明を合わせた例を挙げたが、特に第１及び第２の発明を同時に用いる必要はなく、それぞれ独立に実現することも可能である。また、この第１の実施の形態は動き補償適応予測離散コサイン変換符号化方式を用いていたが、特にこの符号化方式である必要はなく他の画像符号化方式に対しても利用可能である。

図６及び図７は、領域並べ変えテーブルの例を幾つか示したものである。例えば、画面中央に重要な情報（動き、顔等）があるような入力画像が中心のアプリケーションであれば、画面中央の領域が先頭に来るように情報を並べ変える。このように並べ換えを行なうことで誤りが生じ可変長符号の同期外れが生じた場合でも重要な領域の復号可能確率を従来よりも高くすることができる。これは、誤りが生じた場合可変長符号の性質上後部の情報ほど復号不可能となる確率が高くなることを考慮した構成となっているためである。また、この他にも動きベクトルの値等から画像の重要中心部を求めて、その座標の領域から図８に示されるように螺旋状に領域を符号化することで入力画像毎に並べ変えテーブルを切替えもしくは作成使用することも可能である。その際、フレーム毎の符号列は、フレーム同期信号の後に前記重要中心部座標を表す情報を挿入しておくなどして符号化側と復号化側での整合性をとる必要がある。さらに、符号化側と復号化側で同一の並べ変えテーブルを複数個用意し、符号化側で画像に応じ適応的に切替え使用した並べ変えテーブルの番号と合わせて受信側へ送出することで、並べ変えテーブルを切替えることも可能である。

例えば、双方向復号可能な可変長符号を利用した場合、順方向、逆方向に符号列を分割する必要はなく、１つの符号列として順方向からも逆方向からも復号できる。その際、符号列の並び方を図４，６，７及び８にそれぞれ示されるような並び方にすることにより重要な部分の復号確率を高くすることも可能である。その一例として、図９に双方向復号可能な可変長符号を利用した場合の符号列の並べ方を示している。図中の数字のついたブロックは、それぞれが符号化の際のマクロブロックに相当するようなものを表しているものとする。

第２実施形態

次に、第２の実施の形態に係る符号化装置について説明する。
図１０は第２の実施の形態の符号化装置を示すブロック図である。図３と異なる点は、図１１に示すように情報の分割が第１の実施の形態は画面全体を２つの領域群に分割し、符号列分割器１１０でそれに対応する符号列に分割するのに対し、この実施の形態は第１および第２の符号列それぞれが画面全体の全ての領域を含む変わりに各領域の符号列それぞれがＤＣＴ係数列分割器２２０で２つに分割された一方のみを含んだものとすることにある。

これにより、一方の情報が損失した場合でも、他方の情報が復号可能であるならば、各領域毎に通常の品質より多少は劣っていてもある程度の品質を有する画像が復号でき、第１の実施の形態に比較し画面全体では均一な画質が得ることができる。この他にも、ＤＣＴ係数に限られず他の各情報も２つに分割し、符号化することも可能である。

各領域の情報を２つに分割する構成としては、以下のような例があげられる。予測誤差信号を離散コサイン変換して得られた係数を、従来は図３３のようにジグザクスキャンにより符号化していたのに対し、本発明においては図１２のように奇数番目の係数と偶数番目の係数とに分割する。また、図１３のように水平方向の相関を強く反映する部分と垂直方向の相関を強く反映する部分に分割することも可能である。さらに、上記例（図１２）が通常のジグザグスキャンを基にしてＤＣＴ係数列を分割しているのに対し、画像に合ったスキャンを基にＤＣＴ係数を分割する構成とすることも本発明では可能である。

図１４は図１の動画号符号化装置に対応した動画像復号装置を示している。符号化装置から伝送／蓄積された符号列はフレーム同期信号検出後、符号化順序テーブル１１０３の情報を基に、各領域毎に予測誤差信号を復号し、逆量子化器１１１２において逆量子化、逆ＤＣＴ器１１１３で逆離散コサイン変換という一連の処理を行なう。この際、読み込んだ符号列は符号列メモリ１１１６に同時に蓄えていく。前部第１の符号列を復号終了した場合、もしはく何らかの誤りが生じ復号不可能となった場合には、復号処理を停止し、次のフレームのフレーム同期信号まで符号列メモリ１１１６に符号列を蓄え続ける。次フレームのフレーム同期信号を発見したら、符号列並べ変え器１１１７において符号列メモリ１１１６の内容を最後から１ビットずつ逆に読み出して復号を行なう。前部第１の符号列と同様に復号を行ない、復号が終了もしくは誤りにより復号不可能となった場合には復号処理を終了し、前部第１の情報と後部第２の情報の復号できた情報を合わせて復号情報とする。

そして、加算器１１１４で予測信号と加算して再生画像を得る。再生画像は装置外へ出力されると共にフレームメモリ１１０５へ記録される。上記のような２つに符号列が分解され一方が順方向で他方が逆方向に並べられた符号列を復号することで、一方に誤りが存在し復号不可能となった場合でも他方へは全く影響せず復号を行なうことができる。さらに、領域並べ変えによって符号化順序を変更していることから、誤り検出器１１２６，１１２７によって誤りが検出された場合でも、復号できた領域から復号不可能となった領域を予測し、補間することが従来法に比べて容易となる。

次に、誤り率が異なる２つの伝送路を用いて伝送を行なう場合の符号化装置について説明する。誤り率の異なる伝送路を用いて伝送する際、誤り率の低い高品質な伝送路で誤った場合重大な影響を及ぼす重要な情報を伝送し、誤り率の高い伝送路では重要度の低い情報を伝送するといった階層化手段がしばしば用いられる。そこで、誤り率の低い伝送路（上位階層）、誤り率の高い伝送路（下位階層）それぞれに転送される情報に対し前記第１の実施の形態、第２の実施の形態と同様に領域の並べ変え、符号列の分割、符号列の並べ変えを行なうことで階層符号化に対しても同様に対応できる。図１５は階層化と組み合わせた際の符号列の例を示したものである。この例は、領域の並べ変えを行ない符号化されたもののうち、上位階層にはモード情報、動きベクトル等の重要な情報を入れ、下位階層には予測差信号をいれる。

そして、それぞれの階層で符号列を２つに分割し、一方を前方から後方へ順方向に、他方を後方から前方へ逆方向に並べ変える。第１の実施の形態のように符号列を分割する場合、上位階層と下位階層で同じ分割の仕方をする方が上位階層と下位階層の整合性が正しくとれる。しかし、１フレームの領域を２つに分割する際、符号量がどちらか一方に偏るような場合には、上位階層は誤り率が低いことを考慮して図１６のように符号列の分割は行なわず１つの符号列で表し、下位階層のみ符号列の分割を行なう。その際、下位階層の２つの符号列の符号量が均等に近づくように、図４の（ａ）（ｂ）に含まれる領域の個数を変える。つまり、図４（ａ）（ｂ）に含まれる領域の数を等しくせず、上位階層のモード情報等から動的に変化させる。このようにすることで、下位階層の２つに分割した符号列の符号量が均等になるように分割することができる。

これらの例は、予測誤差とそれ以外の情報とで切り別けているが、動きベクトルの符号量に応じて動きベクトルを上位階層と下位階層に振り分けたり、もしくは動きベクトルの符号量が少なく上位階層に余裕があったりする場合には、予測誤差信号のＤＣＴ係数のうち幾つかを上下階層に振り分ける等の操作を行なうことも可能である。

また、図１７に示すように、１つの伝送路に対し重要度の高い情報を前部に配置し、重要度の低い情報をそれに続いて配置するようなシステムにおいては、図１７（ａ）における重要度の高い符号列を順方向に並べてから、重要度の低い符号列を逆方向に並べかえると共にこれを重要度の高い符号列の後ろに配置するように適用する（図１７（ｃ））ことにより、図１７（ｂ）に示す従来の例に比較して誤りが生じた場合でも多くの情報が正しく復号可能になる。その際、上位階層の符号列（順方向の符号列）の先頭に位置する情報に対応した下位階層の情報ほど下位階層の符号列（逆方向の符号列）の先頭に位置するように配置する。可変長符号化では先頭の情報の方が正しく復号される確率が高いため、図１８のように本実施の形態の方式を適用すると、上位は前部の情報ほど、下位は後ろの同期信号に近い後部の情報ほど正しく復号される確率が高い。

したがって、ブロック等の単位毎に符号化していく方式のうち、各々の単位毎の情報を上位・下位に分割し符号化する階層符号化方式においては、上位の先頭の情報に対応した下位の情報を後部（後部の同期信号の近く）に配置する方が効率は良い。図１９にはその詳細が示されている。この場合、図１９（ａ）のように配置しないで、図１９（ｂ）のように配置すると、下位で正しく復号できた情報に対応する上位の情報がないため、符号語のレベルで復号できてもそこから画像信号を再生することができなくなる。

次に、本発明に係る動画像符号化装置及び復号装置を階層符号化方式に適用するについては、上記実施の形態のように階層化された符号列毎に本発明を適用するのではなく、順方向に並べられた符号列と逆方向に並べられた符号列とのそれぞれの符号列を階層化するようにしても良い。

図２０は、符号列毎に階層化を行なう実施の形態を説明するための符号列の構成を示している。図２０に示されるように、この実施の形態においては２つに分割された符号列のそれぞれが階層化されているものであり、例えば、１フレームの画像を飛び越し走査（インタレース）して２つのフィールドに分割し、まず、その一方のフィールドを順方向の符号列として構成し、他方を逆方向の符号列として構成する。次に、それぞれの符号列において、上位情報としては復号時に必ず必要となるような情報を配置し、下位情報としては例えば残差部等を配置して階層化する。

以上のように構成された階層化符号列は、何れか一方が誤り等の発生により復号できない場合であっても、もう一方は完全に復号することができる。したがって、上位情報と下位情報とをそれぞれ別個に階層化するよりは容易かつ効率的に階層符号化を実施することが可能となる。また、上位情報が完全に復号されないと、たとえ下位情報が復号されても利用することができないようなシステムにおいても効率的な符号の階層化を実現できる。下位情報が復号されても上位情報が復号されないと利用することのできないシステムというのは、例えば図１５の例において、上位情報と下位情報との間に同期信号が挿入されていなかったり、上位情報の最後を示すポインタ情報が付加されていなかったりする場合等が考えられる。したがって、図１５の実施の形態において、上位情報・下位情報間に同期信号を挿入したり、ポインタ情報等を付加したりすることによっても、上位情報が復号されても下位情報が復号されない限り、何れの情報をも利用できないという不具合は改善することが可能ではあるが、この実施の形態のように階層符号化することにより、格段に容易に上記不具合を解消できる。

次に、この発明に係る動画像符号化装置において、動画像を３つの符号列に分割して符号化を行なった実施の形態について図２１を参照しながら説明する。この実施の形態においては、上述した階層符号化の概念を踏まえて動画像の符号化を行なうものであり、例えば重要な情報を２つに分割して第１の符号列と第２の符号列とを構成し、重要な情報の符号列に含まれなかった情報についてさらに第３の符号列を構成するものである。このような重要度にしたがった配列により第１ないし第３の符号列を構成した後、具体的には図２１の下側に図示のような配列で符号列を構成する。このような配列で符号を並べることにより、重要な情報の保護を強化することができる。

例えば、図２１に示される実施形態の階層符号化を画像情報の符号化に適用する場合、重要情報部にはモード情報や動きベクトル情報が割り当てられ、これらの情報が画面の何れの位置に配置されているかを考慮して２つの符号列に分割する。この分割に際しては、重要情報用の２つの符号列の一方が誤り等により消失した場合であっても、他方がその消失を補えるようにマクロブロックを市松模様状に選択して、市松模様の例えば黒ブロックを第１の符号列に対応させ、白ブロックを第２の符号列に対応させておくことにより、フラッシング（flashing―明滅―）やコンシールメント（concealment ―隠蔽―）等の処理が容易に行なえるようにすることも可能である。

このように、重要情報は第１及び第２の符号列に分割して配列し、第３の符号列には残差部を割り当てればよいが、第３の符号列自身の誤り耐性を向上させるためにこの第３の符号列に固定長符号や双方向に復号可能な可変長符号を配列させるようにしても良い。

以上のような構成は、符号列の二重化と組み合わせることも可能である。第２の符号列を第１の符号列と同一又はこれに準ずるものとし、図２１の下側に示されたような配列に構成しておくことにより、通常は第１の符号列を順方向についてのみ復号して動画像を再生して利用すると共に、この第１の符号列に誤りが発生した場合に、逆方向に第２の符号列を復号すれば誤りのない完全な画像情報を得ることができる。

さらに、それぞれの符号列の配列の順序と画面の位置関係について、例えば、第１の符号列を画面の左上から右下へと対応画素の情報を当てはめ、第２の符号列を画面の右下から左上へと当てはめることにより、符号語の何れかに誤りが生じても左上から右下に復号した第１の符号列と、右下から左上へと復号した第２の符号列とを重複して利用することができる。これにより、例えば何れかの符号列の何れかの箇所に誤りが発生しても、第１及び第２の符号列を順方向及び逆方向に復号していけば、互いを補うことが可能となり、復号可能な情報の確率を向上させることができる。このように、対になる符号列が構成されている順序を両方が誤りにより完全に復号できない場合でも互いに補い合える構成とすることにより、符号語の何れかに誤りが発生した際に正しく復号できる情報の割合を高くすることができる。

また、同期信号等を二重化した情報の先頭に新たに付加する必要がないことから、単純に二重化する場合よりも効率が良くなる。この構成は、図２１に示された配列に限定されず、一方の符号列を通常の符号列とし、他方の符号列を予備の符号列とすることによりこの発明の他の実施の形態の何れに対しても適用可能である。

次に、上述した実施の形態の応用例として、符号語の配列の順序を符号列単位で順方向及び逆方向とするのではなく、より小さな情報の単位で符号語の配列を順方向と逆方向とするように構成しても良い。上述してきた実施の形態は何れも符号列を何らかの基準により２つの情報単位に分割し、一方を順方向に符号語を配列し、他方を逆方向に配列するものとして説明してきた。しかしながら、符号化の際に逆方向に並べられる符号列は、一旦バッファに蓄積した後で並べ替えを行ない出力する必要があることから、符号化が終了してからでないと並べ替えの処理を行なうことができず、処理動作に遅延が発生してしまうという問題があった。

そこで、情報の単位としては比較的大きい符号列の単位により符号化を行なうのではなく、例えば、マクロブロック単位のような小さな単位により逆方向に符号化することにより、処理動作の遅延を少なくすることができる。このような実施の形態における構成が、図２２に示されている。図２２において、マクロブロックＭＢ１からＭＢ１０の情報を半分に分割する際に、逆方向に配列されるマクロブロックＭＢ６からＭＢ１０を一纏めにして並べ替えるのではなく、それぞれのマクロブロック毎に並べ替えて符号化することを意味している。

ただし、このような実施の形態においては、復号化器を用いてマクロブロックＭＢ１０から順に復号する必要がある。しかしながら、通常の復号化器は前のマクロブロックと後のマクロブロックとの差分を符号化しておいてこの差分符号を用いて後のマクロブロックを復号するというように、前のブロックの情報を後のブロックの復号に利用しているために、マクロブロックＭＢ１から順に復号しなくてはならない。

そこで、この実施の形態においては、後ろの情報からでも復号できるように付加情報を付け加えることにより、上記のような順方向で復号しなくてはならないという問題を克服している。例えば、動きベクトルや量子化幅のような前の情報との差分を符号化するような情報に対して、後ろからも復号可能なようにマクロブロックＭＢ１０の動きベクトル及び量子化幅の実際の値を付加情報として付け加えることにより、マクロブロックＭＢ１０からでも復号を開始することが可能となる。その後は、マクロブロックＭＢ１０の情報中にマクロブロックＭＢ９との差分に関する情報が含まれていることから、この情報を用いてマクロブロックＭＢ９の復号を行なう。以下、同様にマクロブロックＭＢ８、ＭＢ７、ＭＢ６のように順次に逆方向から復号することにより、一纏まりの情報を完全に復号化することが可能となる。この付加情報は、必ずしも図２２に示される位置に付加される必要はなく、逆方向に並べられた符号語を復号する前にその位置が特定できる箇所でありさえすれば、何れの位置にでも付け加えることが可能である。

以上、階層符号化についてその実施の形態を述べたが、ここに述べた方式は特に上位階層、下位階層といった重要度に差のある情報を符号化する際の符号列の並べ方に特定するものではなく、同等の重要度を有する２つの符号列に対しても同様の手法を適用できることは勿論である。

また、上位・下位という２階層のみに本発明に係る符号化装置が適用されるだけではなく、多階層の情報の纏まりに対しても上記と同様に本発明を適用することが可能である。

なお、以上の実施の形態では、符号列の並べ変えをフレーム単位で行ない、フレーム同期信号で同期を取っているが、特にフレーム同期信号である必要はなく、第１の符号列の前の第２の符号列の後ろに同期信号があれば全ての場合で利用可能である。例えば、１フレームの中に複数個の同期信号が存在する場合（図３０（ａ）の１行ずつに同期信号が挿入されている場合等）、従来は図３０（ｂ）に示すように行毎にフレーム内同期信号を挿入したものを、図３０（ｃ）のように同期信号から同期信号までを単位として領域で並べ変え、符号列分割、および符号列の並べ変えを１行内で行なうことも可能である。すなわち図３０（ｂ）の従来例のように従来並べ変えられていたものを図３０（ｃ）のように行なうことも可能である。

また、図２３は１フレームを複数シンクブロックで構成する方式に重要領域から並べる方式を適用した図である。この方式のように、フレーム同期信号（ＰＳＣ）以外にフレーム内に同期信号を挿入し、誤った場合でも利用不可能な情報が少なくなるようにするものは図３４に示すように従来から用いられている。このフレーム内を同期信号によって分割した各シンクブロックに対し、図２３に示すように例えば（ａ）のような順で符号化したものを第１のシンクブロックに対応させ、（ｂ）の順で符号化したものを第２のシンクブロックに対応させることにより、どちらか一方を誤りにより損失した場合でも、他方が補う構造とすることができる。また重要ブロックから並べることで、重要ブロックほど正しく復号できる確率が高くなる。

上記実施の形態は、符号列の両端に同期符号を付することにより、双方向の復号を可能としているが、本発明は符号列を復号する前に符号列の最後の部分を特定できるものであれば、同期信号は特に必要ではない。以下、この同期符号を用いない方式に係る実施の形態について説明する。

１フレーム分または数マクロブロック分の情報のような所定単位の情報を固定長符号化して出力するような符号化システムの場合、復号側では同期信号等を特に頼りにすることなく、順方向に並べられた符号列と、逆方向に並べられた符号列と、のそれぞれの先頭を特定することができる。図２４は、この固定長符号化された符号列に本発明に係る符号化装置を適用した例を示している。この例においては、Ｎ個のマクロブロック（ＭＢ）を合わせてｍビットになるように固定長化されている符号列に本発明を適用した実施の形態が示されている。この実施の形態において、図２５に示すように、逆方向に並べられている符号列の先頭は必ずｍビット毎に存在するために、上述したように同期信号を符号列中に介挿する必要がなくなり、規則的に正しく復号することができる。

次に上記の構成とは異なり、上記所定の単位で情報が固定長にはなっていないシステムにおいても、同期信号によらずに逆方向に並べられた符号列の先頭位置を特定することのできる実施の形態について説明する。この実施の形態に係るシステムにおいては、逆方向の符号列の先頭がどの箇所に位置付けられているかを特定できる情報を付加して符号列を出力するように構成されている。図２６がこの実施の形態に係る符号列を示している。先頭を示すポインタ情報を、同期を取ることが可能なフレームヘッダまたはこれに準ずる位置に配置することにより、復号器側においてはこのポインタ情報を用いて逆方向に並べられた符号列の先頭を特定してこれらの符号列を復号する。このように、同期信号の代わりに所定単位で符号列の最後が特定できるように構成しておくことにより、本発明は可変長符号化方式であっても実施が可能となる。

次に、第１の実施の形態と、第２の実施の形態における、復号装置での高速再生の動作について説明する。高速順方向再生の場合、フレームの先頭を示すフレーム同期信号を受信後、順方向に記述されている前部の第１の符号列のみ前記復号処理により復号を行ない次フレームへ処理を進める。逆方向に並べ変えられた第２の符号列に相当する情報は、第１の符号列により復号された情報を用いて補間等を行なうことで対応する。

高速逆方向再生の場合高速順方向再生と同様に、逆方向にフレーム同期信号を探して、フレーム同期信号を受信後逆方向に並べ変えられた第２の符号列のみ復号を行なう。この際、動き補償適応予測符号化を用いている場合には前フレームの画像が必要なため、動き補償を用いていないフレームのみを選択していく必要がある。

図２７は、この発明に係る動画像符号化及び復号装置を無線通信システムに応用した第３の実施の形態を示すものである。図２７において無線通信システムは、画像伝送系２０と画像再生系３０とを含み、ネットワーク４０の設けられた基地局４１を介して画像の伝送や受信が行なわれる。

画像伝送系２０は、画像信号入力部２１を、誤り耐性処理部２３を備える情報源符号化部２２と、伝送路符号化部２４と、無線部２５と、を備えており、情報源符号化部２２においては離散コサイン変換（ＤＣＴ）や量子化等が行なわれ、また、伝統路符号化部２４においては、符号化データの誤り検出や訂正等が行なわれる。

また、画像再生系３０は、無線部３１、伝統路復号化部３２、誤り耐性処理部３４を含む情報源復号化部３３と、画像信号出力部３５と、を備えている。

図２８は、この発明に係る動画像符号化装置及び復号装置が適用される一例を示すものであり、図示のように、無線通信ネットワーク４０の基地局４１、４２、４３を介して、ラップトップタイプのパソコン５１やデスクトップのパソコン５２等の端末５０により動画像の伝送及び受信が行なわれる。

この発明による動画像符号化装置の基本概念を示すブロック図。 図１の符号化装置により形成される符号化列を示す図。 本発明の第１の実施の形態による動画像符号化装置のブロック図。 本発明の動画像符号化装置の領域並べ変え順序の一例を示す図。 本発明の動画像符号化装置によって符号化された符号列を示す図。 本発明の動画像符号化装置の領域並べ変え順序の例を示す図。 本発明の動画像符号化装置の領域並べ変え順序の例を示す図。 本発明の中心領域が指定された場合の領域並べ変え順序の例を示す図。 本発明を双方向復号可能符号に対応させた場合の符号列の並べ方を示す図。 本発明の第２の実施の形態による動画像符号化装置のブロック図。 本発明の第１の実施の形態と第２の実施の形態との相違点を示す図。 本発明のＤＣＴ係数のスキャン順序の例を示す図。 本発明のＤＣＴ係数のスキャンを水平、垂直方向の相関を考慮した順序に分割する例を示す図。 本発明の実施の形態による動画像復号装置のブロック図。 本発明の階層符号化に対応させた実施例を示す図。 本発明の階層符号化に対応させた実施例を示す図。 本発明の階層符号化方式と従来の階層符号化方式の例を示す図。 本発明の階層符号化に対応させた実施の形態を示す図。 本発明の階層符号化に対応させた実施の形態の誤り発生時を示す図。 本発明を階層符号化に適用させた実施の形態を示す図。 本発明を３つの符号列に対応させた場合の符号列の構成を示す図。 本発明で処理動作の遅延を少なくできる場合の符号列の構成を示す図。 本発明の重要領域から並べる方式を、１フレームを複数シンクブロックで構成する方式に適用した図。 本発明を固定長符号に適用した実施形態における符号列の構成を示す図。 本発明を固定長符号に適用した実施形態の他の符号列の構成を示す図。 付加情報を用いて実施する実施の形態の符号列を示す図。 本発明に係る動画像符号化装置及び復号装置を無線通信システムに応用した実施の形態を示す図。 本発明に係る動画像符号化装置及び復号装置を無線通信システムに応用した実施の形態を示す図。 従来の動画像符号化装置のブロック図。 従来の動画像符号化装置の符号化順序を示す図。 従来の動画像符号化装置によって符号化された符号列を示す図。 従来の動画像復号装置のブロック図。 従来のＤＣＴ係数のスキャン順序の例を示す図。 従来のフレーム内に同期信号を挿入した例を示す図。

符号の説明

１０１，１０２，１０３ 領域分割器
１０２，２０２ 領域並べ変え器
１０３，２０３，１１０３ 領域並べ変えテーブル
１０４，２０４，３０４，１１０４，１２０４ 動き補償器
１０５，２０５，３０５，１１０５，１２０５ フレームメモリ
１０６，２０６，３０６ 差分器
１０７，２０７，３０７ 離散コサイン変換器
１０８，２０８，３０８ 量子化器
１０９，２０９，３０９ 多重化器
１１０ 符号列分割器
１１１，２１１ 符号列並べ変え器
１１２，２１２，３１２，１１１２，１２１２ 逆量子化器
１１３，２１３，３１３，１１１３，１２１３ 逆離散コサイン変換器
１１４，２１４，３１４，１１１４，１２１４ 加算器
１１１５，１２１５ 非多重化器
１１１６ 符号列メモリ
１１１７ 符号列並べ変え器
１１１９ 画像信号並べ変え器
２２０ ＤＣＴ係数列分割器
２２１ ＤＣＴ係数列合成器
１２２，１２３，２２２，２２３，３２２，３２３ 可変長符号化器
１１２４，１１２５，１２２４，１２２５ 可変長復号化器
１１２６，１１２７ 誤り検出器
１３１，２３１，３３１ 入力画像信号
１３３，２３３，３３３ 予測信号
１３４，２３４，３３４ 予測残差信号

Claims (10)

1. フレーム毎に入力される画像信号を複数個の領域に分割する領域分割手段と、この領域分割手段により分割された各領域に対する領域単位の並べ換え順序を示す情報を記述した領域並べ換えテーブルを作成して分割された領域を並べ換える領域並べ換え手段と、前記領域並べ換えテーブルに記述された領域並べ換え順序に従って前記領域分割手段により分割された各領域の前記画像信号を符号化すると共に前記領域並べ換えテーブルを符号化する符号化手段とを備えることを特徴とする動画像符号化装置。
2. 前記領域分割手段は、フレーム毎に入力される画像信号を複数個のマクロブロック単位に分割することを特徴とする請求項１に記載の動画像符号化装置。
3. 前記領域並べ換えテーブルに記述された前記領域並べ換え順序を示す情報は、領域並べ換え順序を示す順序数であることを特徴とする請求項１または請求項２の何れかに記載の動画像符号化装置。
4. 前記領域並べ換え手段は、重要な情報が位置している画面の領域を前記領域並べ換え順序の先頭にして当該領域を並べ換えることを特徴とする請求項１ないし請求項３の何れかに記載の動画像符号化装置。
5. 前記符号化手段は、前記分割された各領域を、前方から後方へ順方向に並ぶ第１の符号列と、後方から前方へ逆方向に並ぶ第２の符号列と、にそれぞれ符号化すると共に、前記第１の符号列を前方から後方へ順方向に復号し、前記第２の符号列を後方から前方へ逆方向に復号する復号化手段をさらに備えることを特徴とする請求項１ないし請求項４の何れかに記載の動画像符号化装置。
6. フレーム毎に入力される画像信号を複数個の領域に分割する領域分割ステップと、この領域分割ステップで分割された各領域に対する領域単位の並べ換え順序を示す情報を記述した領域並べ換えテーブルを作成して分割された領域を並べ換える領域並べ換えステップと、前記領域並べ換えテーブルに記述された領域並べ換え順序に従って前記領域分割ステップにより分割された各領域の前記画像信号を符号化すると共に前記領域並べ換えテーブルを符号化する符号化ステップとを備えることを特徴とする動画像符号化方法。
7. 前記領域分割ステップでは、フレーム毎に入力される画像信号が複数個のマクロブロック単位に分割されることを特徴とする請求項６に記載の動画像符号化方法。
8. 前記領域並べ換えテーブルに記述された前記領域並べ換え順序を示す情報は、領域並べ換え順序を示す順序数であることを特徴とする請求項６または請求項７の何れかに記載の動画像符号化方法。
9. 前記領域並べ換えステップでは、重要な情報が位置している画面の領域を前記領域並べ換え順序の先頭にして当該領域を並べ換えることを特徴とする請求項６ないし請求項８の何れかに記載の動画像符号化方法。
10. 前記符号化ステップは、前記各領域の画像信号を、前方から後方へ順方向に並ぶ第１の符号列と後方から前方へ逆方向に並ぶ第２の符号列とにそれぞれ符号化すると共に、前記第１の符号列を前方から後方へ順方向に復号し、前記第２の符号列を後方から前方へ逆方向に復号する復号化ステップをさらに備えることを特徴とする請求項６ないし請求項９の何れかに記載の動画像符号化方法。

Images