JP2007151163A - 画像復号化方法及び装置 - Google Patents

Abstract

【課題】誤りにより情報が失われた場合でも早期に回復可能で、かつ符号化効率が高く、再符号化の必要もない画像符号化装置を提供する。
【解決手段】参照画像信号141を用いて入力動画像信号131を符号化し動画像符号列137を生成する動画像符号化部101〜112、参照画像信号137を符号化して参照画像符号列147を生成する参照画像符号化部113〜115及び動画像符号列137と参照画像符号列147を多重化して出力符号列149を生成する多重化部117を有する。
【選択図】図２

Description

本発明は、画像を少ない情報量で圧縮符号化する画像符号化及び圧縮符号化により得られた符号列を復号して画像を再生する画像復号化技術に係り、特に誤りの発生しやすい伝送路を介して符号化データの伝送／蓄積を行う場合に、符号化効率を損なうことなく誤りによる影響を出来るだけ早急に回復できる画像符号化方法及び装置並びに画像復号化方法及び装置に関する。

ＴＶ電話、ＴＶ会議システム、携帯情報端末、ディジタルビデオディスクシステム及びディジタルＴＶ放送システムのような画像を伝送または蓄積するシステムにおいては、画像を伝送または蓄積のために画像を少ない情報量で圧縮符号化することが必要である。

このような圧縮符号化技術として、動き補償、離散コサイン変換、サブバンド符号化及びピラミッド符号化等の方式、さらにこれらを組み合わせた方式など様々な方式が開発されている。動画像の圧縮符号化の国際標準方式として、ＩＳＯ・ＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４、さらにＩＴＵ−Ｔ・Ｈ．２６１、Ｈ．２６２及びＨ．２６３などが規定されている。

これら方式はいずれも動き補償適応予測と離散コサイン変換を組み合わせた圧縮符号化方式であり、文献１（安田浩編著、“ＭＰＥＧ／マルチメディア符号化の国際標準”、丸善、）等に詳細が述べられている。

従来の画像符号化／復号化装置には、以下のような問題点がある。第１に、無線通信路のような誤りが混入する可能性のある通信路では、符号化を行っただけでは、誤りが生じた場合に復号画像品質が著しく劣化する。特に、同期信号、モード情報及び動きベクトル情報といった信号が誤った場合の画質劣化は著しい。

第２に、画像符号化に用いられる動き補償適応予測符号化ではフレーム間の差分のみが符号化される。このため、誤りが生じると、そのフレームが誤るだけではなく、誤った画像がフレームメモリに蓄えられる。その誤った画像を用いて予測画像が作成され、その予測画像に残差が加えられる。この結果、これ以降のフレームが正しく復号されたとしても、フレーム間差分を用いずにフレーム内のみで画像を符号化する符号化モード（ＩＮＴＲＡモード）で情報が送られてくるか、徐々に誤りの影響が減衰して元の画像に戻るかのどちらか以外、それ以降のフレームも正しい復号画像は得られなくなる。

誤りにより１フレーム分の情報が失われたとすると、２番目のフレームは全く復号されず、例えば１番目のフレームがそのまま出力される。３番目のフレームでは、２番目のフレームに加えることによって初めて正しく復号できる残差が１番目のフレームに加えられてしまう。３番目のフレームは全く別の画像となってしまう。これ以降、誤った画像に残差が加えられていくため、基本的に誤りが消えず正しい復号画像が再生できなくなる。

この問題を解決するため、従来では一定周期毎にイントラモードで符号化するリフレッシュと呼ばれる手法が一般に用いられている。イントラモードで符号化すると、符号量が増加するので、誤りのない画像の画質が著しく低下する。このため、画面全体を一度にリフレッシュするのではなく、１フレームに数マクロブロックずつリフレッシュする周期リフレッシュ等の方法が通常用いられる。しかしながら、この周期リフレッシュでは符号量の増加は抑えられる反面、正常な状態に回復するまでに長い時間がかかる。

他の誤り対策としては、誤り訂正符号の利用がある。しかしながら、この方式はランダムに生じる誤りを訂正できても、バースト的に連続して生じる数百ビットの誤りには対処が難しい。たとえ対処出来たとしても、かなりの冗長度が生じる。

ネットワークの誤り情報などをシステムから受け取ることにより、サーバ側が誤り情報などを適応的に処理することが検討されている。具体的には、誤り情報を受け取ってから再符号化を行ったり、複数のファイルを切り替えたりするという方法が取られる。この方法では、サーバに符号化の機能や、複数のファイルを適応的に切り替えるなどの機能を持たせる必要があり、余計な処理を増やすことになる。
安田浩編著、"ＭＰＥＧ／マルチメディア符号化の国際標準"、丸善、平成６年９月３０日発行、Ｐ．１２〜１５

上述したように従来の画像符号化技術では、誤りによる情報の消失が大きな画質劣化の要因となる。さらに、誤りによって消失した情報を回復する周期リフレッシュのような手法は、符号化効率を考えるとエラー回復までに長い時間を要する。回復に要する時間を短縮しようとすると符号量が増加して符号化効率が低下する。

本発明は、誤りにより情報が失われた場合でも早期に回復可能で、かつ符号化効率が高く、再符号化の必要もない画像符号化方法及び装置並びに画像復号化方法及び装置を提供することも目的とする。

本発明の第１局面は、入力される動画像信号を符号化する際に、参照画像信号を用いて動画像信号を符号化して動画像符号列を生成し、参照画像信号を符号化して参照画像符号列を生成し、これら動画像符号列及び参照画像符号列を多重化して出力符号列を生成する動画像符号化方法を提供する。

本発明の第２局面は、動画像信号を符号化して得られた動画像符号列及び参照画像信号を符号化して得られた参照画像符号列を含む入力符号列を復号して動画像信号を再生する際には、入力符号列に含まれる参照画像符号列を復号して第１の参照画像信号を生成し、再生画像信号から得られる第２の参照画像信号及び第１の参照画像信号のいずれかを選択的に用いて、入力符号列に含まれる動画像符号列を復号して再生画像信号を生成する動画像復号化方法を提供する。

本発明の第３局面は、入力される動画像信号を符号化する画像符号化処理をコンピュータに実行させるためのプログラムであって、参照画像信号を用いて前記動画像信号を符号化して動画像符号列を生成する処理と、参照画像信号を符号化して参照画像符号列を生成する処理と、動画像符号列及び参照画像符号列を多重化して出力符号列を生成する処理とをコンピュータに実行させるためのプログラムを提供する。

本発明の第４局面は、動画像信号を符号化して得られた動画像符号列及び参照画像信号を符号化して得られた参照画像符号列を含む入力符号列を復号して動画像信号を再生する処理をコンピュータに実行させるためのプログラムであって、入力符号列に含まれる参照画像符号列を復号して第１の参照画像信号を生成する処理と、再生画像信号から得られる第２の参照画像信号及び第１の参照画像信号のいずれかを選択的に用いて、入力符号列に含まれる動画像符号列を復号して再生画像信号を生成する処理とをコンピュータに実行させるためのプログラムを提供する。

以上説明したように、本発明によれば伝送効率を損なうことなく、誤り時の回復能力を高めることが可能となる。また、符号化の枠組みの中で処理し、符号化時に全てのデータを用意することにより、再符号化や送信時での複雑な処理などが不必要となり、簡易な画像送受信システムを構築することが可能となる。

（第１の実施形態）
図１に、本発明の第１の実施形態に係る画像符号化装置の基本構成を示す。

入力動画像信号１３１は、まず領域分割器１０１で予め定められた複数の領域に分割された後、以下のように動き補償適応予測にかけられる。動き補償適応予測器１１１において、フレームメモリ１１０中に蓄えられており、既に符号化及び局部復号化が行われた前フレームの参照画像信号１４１と入力画像信号１３２との間の動きベクトル１４３が検出される。この動きベクトルを用いて参照画像信号１４１に対して動き補償が行われる。これによって、予測画像信号（動き補償後の参照画像信号）１４２が生成される。動き補償適応予測器１１１は、動き補償予測モードと入力画像信号１３２をそのまま符号化に用いるイントラ符号化（予測画像信号＝０）モードのうち、好適な方の予測モードを選択し、選択した予測モードに対応する予測画像信号１４２を出力する。

減算器１０２は、入力画像信号１３２から予測画像信号１４２を減算し、予測残差信号１３３を出力する。予測残差信号１３３は、第１の離散コサイン変換器１０３において一定の大きさのブロック単位で離散コサイン変換（ＤＣＴ）される。離散コサイン変換により得られたＤＣＴ係数１３４は、第２の量子化器１０４で量子化される。量子化されたＤＣＴ係数１３５は、一方において第１の可変長符号化器１０５で符号化されることにより、ＤＣＴ係数符号列１３６が得られる。ＤＣＴ係数符号列１３６は、多重化器１０６において第２の可変長符号化器１１２により動きベクトル情報を符号化した動きベクトル符号列１４４と多重化され、動画像符号列１３７として出力される。

他方においてＤＣＴ係数１３５は、逆量子化器１０７で逆量子化された後、さらに逆離散コサイン変換（逆ＤＣＴ）される。逆離散コサイン変換器１０８からの出力１３９は、加算器１０９で適応予測画像信号１４２と加算されて局部復号画像信号１４０が生成される。この復号画像信号は１４０はフレームメモリ１１０に参照画像信号として記憶される。

一方、フレームメモリ１１０から出力される前フレームの参照画像信号１４１は、参照符号１１３〜１１５で示されるブロックからなる参照画像符号化部によって符号化される。すなわち、参照画像信号１４１は動き補償適応予測器１１１に入力されると共に第２の離散コサイン変換器１１３に入力される。第２の離散コサイン変換器１１３において、参照画像信号１４１は一定の大きさのブロック単位で離散コサイン変換（ＤＣＴ）される。これにより得られた変換係数１４５は第２の量子化部１１４で量子化され、量子化された変換係数は第３の可変長符号化器１１５で符号化される。第３の可変長符号化器１１５によって得られた符号列（以下、参照画像符号列という）１４７は、動画像符号列１３７とは別のフレームとして出力される。

図２は、図１にフレームヘッダを付加するためのヘッダ多重化部１１７を含んだ構成を示す。制御部１１６は画像符号化装置全体の動作を管理するが、特にここでは例えば動画像符号列１３７のみを出力する符号化モード、動画像符号列１３７と参照画像符号列１４７の両方を出力する符号化モードのいずれかを選択する。制御部１１６では、フレームヘッダ用符号列１４８も生成される。ヘッダ多重化部１１７においては動画像符号列１３７、参照画像符号列１４７及びフレームヘッダ符号列１４８が多重化され、出力符号列１４９が生成される。出力符号列１４９は、図示しない伝送系または蓄積系へ送出される。

図３に、図２の画像符号化装置から出力される出力符号列１４９中の画像に係る部分のデータ構造を示す。従来の画像符号化装置では、参照画像信号は符号化されず、入力の動画像信号のみが符号化されるため、出力符号列１４９中の画像に係る部分は図３（ａ）に示すような各フレームの動画像符号列１３７（…Frame #n，Frame #n+1，Frame #n+2，…）のみからなるデータ構造となる。これに対して、図２の画像符号化装置では、図３（ｂ）に示すように任意フレーム、例えば第ｎ＋１フレームにおける参照画像符号列１４７（Ref-Frame #n+1）が例えば動画像符号列１３７における第ｎ＋１フレーム（Frame #n+1）の前に挿入されることによってフレームが多重化され、出力符号列１４９が生成される。

図３（ｂ）とは逆にn+1フレーム（１３７）後に参照画像（１４７）を挿入しても良い。

図４は、出力符号列１４９に含まれるフレームヘッダ符号列１４８の構造の一例を示す。符号列のモード情報としてPic-type（ピクチャタイプ）情報が定義される。ピクチャタイプとして、通常のI-Picture、P-Picture及びB-Pictureに加え、本実施形態に特有の参照画像符号列１４７のフレームタイプであるR-Pictureが別途定義されている。参照画像符号列１４７を認識するために他の方法をとることも可能であり、それにより同様の効果を得ることができる。

フレームの表示時間等を示すタイムスタンプ（Timestamp）については、R-Pictureにはこれが利用されるフレームのTimestamp、つまり次のフレームのTimestampが記述されることが望ましい。参照画像符号列１４７が誤りにより欠落してしまったり、参照画像符号列１４７を使うフレームが誤りにより欠落してしまったりした場合に、このようなタイムスタンプは参照画像符号列１４７とフレームとの関連付けを識別するための有効な情報となる。さらに通常のフレームと同じ符号列構造をとることにより、特殊な付加回路を必要とせず、通常の回路を使用できる。

このようにモード情報で区別する方式を使った場合には、本実施形態で利用している参照画像信号を符号化しておくだけでなく、例えば誤りから回復できるようにするターゲットのフレームそのものをイントラ符号化し、二重化することで回復機能を実現することも可能である。P-Pictureなどのように動き補償予測符号化されるフレームをイントラモードでも符号化しておき、モード情報だけをR-Pictureなどに指定をしておくことで回復機能が実現できる。この場合、送信側でR-Pictureを伝送することが決定されると、それに対応した通常のフレーム（主にP-PictureやB-Picture）の符号列は送る必要がなくなる。このため、本実施形態は伝送路の効率的利用にも役立つ。

図５を用いて本実施形態の画像符号化装置に対応した画像復号化装置の基本構成を説明する。図２に示した画像符号化装置から出力された出力符号列１４９は、伝送系または蓄積系を経て図５の画像復号化装置に入力符号列として入力される。画像復号化装置では、ヘッダ逆多重化部２００により、入力符号列から動画像符号列２３１と参照画像符号列２４１が分離される。逆多重化器２０１においては、動画像符号列２３１からＤＣＴ係数符号列２３２及び動きベクトル符号列２３７が分離される。ＤＣＴ係数符号列２３２は、可変長復号化器２０２、逆量子化器２０３及び逆離散コサイン変換器２０４を経て復号され、予測誤差信号２３５に再生される。動きベクトル符号列２３７は、可変長復号化器２０６で復号され、これによって再生された動きベクトル情報２３８が動き補償予測器２０７に入力される。

一方、図示しないヘッダ逆多重化部により入力符号列から分離された参照画像符号列２４１は、可変長復号化器２０９、逆量子化器２１０及び逆離散コサイン変換器２１１を経て参照画像信号２４４に変換され、フレームメモリ２０８に格納される。動き補償予測器２０７では、動きベクトル情報２３８を用いてフレームメモリ２０８から読み出された前フレームの参照画像信号２３９に対して動き補償が行われ、予測画像信号（動き補償後の参照画像信号）２４０が生成される。加算器２０５によって予測誤差信号２３５と予測画像信号２４０が加算され、再生画像信号２３６が生成される。再生画像信号２３６は、装置外へ出力されると共にフレームメモリ２０８に参照画像信号として記憶される。

本実施形態では画像符号化装置から参照画像の情報を参照画像符号列として動画像符号列とは別途に伝送系または蓄積系に送出し、画像復号化装置では参照画像符号列を復号して参照画像の情報を再生することで、誤りの発生に対応することができる。このように本実施形態によると、誤り発生時の画像回復能力を高めることが可能となる。

この効果をさらに具体的に説明すると、例えば図６に示すような予測を利用した動画像符号化では、図７に示すように途中で誤りが発生すると、以後の予測を使っているフレームについては誤りが伝播する。そこで、通常は誤りが発生してもそこで回復できるフレーム、すなわち予測を使わないイントラ符号化フレーム(I-Picture)を周期的に挿入する周期的リフレッシュの手法がとられているが、これは符号化効率が悪くなる欠点があった。

これに対し、本実施形態では例えば図５に示した画像復号化装置において、参照画像符号列を復号して得られた参照画像信号を図８に示すように誤り発生時に用いる参照画像信号のデータとしてフレームメモリ２０８に別途保持しておく。誤りがあった場合のみ該データを動画像符号列の復号に用いる。すなわち、誤りのない場合は符号化効率の高い予測符号化に基づく参照画像信号を用い、誤りのある場合だけ参照画像符号列を復号して再構成した参照画像信号を用いることにより、誤りから回復することを可能とする。また誤りが発生した場合には、参照画像符号列から復号された参照画像でフレームメモリ２０８の内容を強制的に置き換える構成を採用しても良い。

本実施形態の構成では、画像符号化装置のトータルの発生符号量は、参照画像信号を別途符号化している分だけ多くなるが、これは参照画像符号列を必要なときだけ出力することによって解決できる。例えば、フレームの先頭などに当該フレームのタイプを示すフレームタイプ情報として、参照画像符号列であることを示すモード情報を記しておく。画像符号化装置側で該モード情報を解析して参照画像符号列を出力するのかしないかの判定を行う。通常モードでは参照画像符号列を出力しないようにする。

図９は、このような参照画像符号列のための出力判定装置の基本構成を示している。この出力判定装置は、例えば図２中のヘッダ多重化部１１７内に備えられる。図９において、入力符号列４３１は付加情報判定部４０１に入力され、ここで通常のフレームを示す情報か、補助的に付加された情報かの判定が行われる。本実施形態の場合、入力符号列４３１は動画像符号列１３７と参照画像符号列１４７を含む符号列であり、付加情報判定部４０１では付加情報である参照符号列１４７か否かの判定が行われる。

付加情報判定部４０１からの判定結果４３２は付加情報出力判定部４０３に入力され、現在の状態を示す状態情報４３３に従って、参照符号列１４７を出力すべきか否かの判定が行われる。例えば、状態情報４３３は現在が誤り発生状態かどうかを示す情報であるとすると、付加情報出力判定部４０３では誤りが発生していれば参照符号列１４７を出力すべきと判定され、そうでない通常の状態であれば参照符号列１４７を出力すべきでないと判定される。

付加情報出力判定部４０３の判定結果４３４は、出力部４０２へ渡される。出力部４０２は、付加情報判定部４０１を介して入力される符号列４３５に含まれる参照符号列１４７を付加情報出力判定部４０３からの判定結果４３４に従って出力符号列４３６として出力する。これにより適応的に参照符号列１４７を出力することができ、通常の誤りのない状態で余分な情報が出力されない。

一方、図５に示した画像復号化装置においては、通常の状態でも入力符号列として参照符号列２４１が入力される場合がある。例えば、ローカルのファイルを再生する場合や、送信側が適応的な送信をサポートしていない場合などがある。そのような場合、画像復号化装置側で参照画像符号列２４１を復号すべきかどうか判定することも可能である。

図１０は、このように参照画像符号列を復号すべきかどうかを判定して復号を行う復号化判定装置の基本構成を示す。この復号化判定装置は、例えば図５の前段に設けられる前記ヘッダ逆多重化部２００に備えられる。図１０において、入力符号列５３１は付加情報判定部５０１に入力され、付加情報か否かを判定される。本実施形態の場合、入力符号列５３１は動画像符号列２３１と参照画像符号列２４１を含む符号列であり、付加情報判定部５０１では入力符号列５３１が参照画像符号列２４１か否かが判定される。この判定は、例えばフレームタイプ情報に記された参照画像符号列であることを示すモード情報を用いて行われる。

付加情報判定部５０１の判定結果５３２は、復号方法判定部５０３に入力され、参照画像符号列２４１を復号すべき否かの判定に利用される。復号方法判定部５０３には、状態情報５３３として現在の復号がローカル再生かどうかや、誤りの発生があったかどうかといった情報が与えられる。復号方法判定部５０３からは、付加情報判定部５０１の判定結果５３２と状態情報５３３とから、付加情報判定部５０１を介して入力される符号列５３５に含まれる参照符号列２４１を復号すべきか否かが判定される。復号部５０２は、復号方法判定部５０３の判定結果５３４に従って復号を行い、再生信号５３６を出力する。これにより、ローカル再生などの場合には、付加情報を復号しないように画像復号化装置を制御することが可能となる。例えば、伝送路誤りが生じない通常の送受信状態においては、参照画像符号列２４１は復号されることなく、復号方法判定部５０３で廃棄されるが、伝送路に誤りが発生した結果、参照すべきフレームが欠落する、正常に復号されない等の場合には、再生画像の復号に必要な参照画像がフレームメモリにされていないため、参照符号列２４１を復号することにより、フレームメモリ内に蓄積される画像を置き換える。これにより誤り混入によるう再生画像の劣化を防止する。また誤りが発生した場合にのみ参照符号列を復号して、参照画面を置き換える手法も可能であり、参照画面を置き換えるか否かに拘わらず、参照符号列を受信した場合には全て復号するように受信側を構成することも可能である。

本実施形態では参照フレームが一つの場合を前提に説明を行ったが、これを複数参照フレームに拡張することも可能である。その場合、複数のフレームの画像を全部付加するのでは、符号量が多くなってしまい実用に沿わない可能性がある。そこで、複数ある参照フレームの中で動き補償の際に参照される小領域（ここではマクロブロックを例として用いる）だけを選択し、それを参照画像符号列241として出力する。この場合には、図３（ｂ）のフレーム単位のデータ構造の代わりにマクロブロック単位のデータ構造となる。この方式を採用することで、利用されないマクロブロックも符号化して符号量が増大してしまうことが避けられ、符号量を節約することが可能となる。その際、付加情報として出力するマクロブロック情報がどのフレームのどの位置のマクロブロックかを示す情報と一緒に記述する。

（第２の実施形態）
図１１は、本発明の第２の実施形態に係る画像符号化装置の構成を示す。第１の実施形態では、参照画像符号列が動画像符号列とは別フレームとして出力されている。第２の実施形態では参照画像符号列は動画像符号列のフレームに対する付加情報として出力される。図１１において図１と相対応する部分に同一符号を付して第１の実施形態に係る画像符号化装置との相違点のみ説明する。本実施形態では、参照画像符号列１４７は多重化器１０６に入力され、量子化及び可変長符号化されたＤＣＴ係数１３６及び動きベクトル情報１４４と共に多重化されて出力される。

こうすることで、動画像符号列の特定のフレームに対して、そのフレームの符号化・復号化に必要な参照画像信号を付加する。すなわち図１２に示されるように第ｎ＋１フレームの参照画像符号列１４７（Ref-Frame #n+1）を動画像符号列１３７における同じ第ｎ＋１フレーム（Frame #n+1）内の付加情報という位置付けにすることができる。

前記第１の実施形態で述べたように小領域（マクロブロック）単位で参照画像符号列を付加する方式の場合、動画像符号列137と参照画像符号列147をマクロブロック単位で多重化し、どのマクロブロックに対して参照画像符号列147が付加されたか否かを示す判定フラグ情報をつけて記述する方式も可能である。

図１３は、図１１の画像符号化装置に対応する画像復号装置の構成を示している。図１３において図５と相対応する部分に同一符号を付して第１の実施形態に係る画像復号化装置との相違点を説明する。本実施形態では逆多重化部２０１によって、ＤＣＴ係数符号列２３１及び動きベクトル符号列２３７とは別に、動画像符号列２３１のフレームに対する付加情報として挿入された参照画像符号列２４１が動画像符号列２３１から分離される。分離された参照画像符号列２４１は、第１の実施形態と同様に可変長復号化器２０９、逆量子化器２１０及び逆離散コサイン変換器２１１を経て復号され、参照画像信号２４４が再生される。参照画像符号列を復号して得られた参照画像信号を誤り発生時用に用いる参照画像信号のデータとしてフレームメモリ２０８に保持しておき、誤りがあった場合該参照画像データを動画像符号列の復号に用いる。また誤りが発生した場合には、参照画像符号列から復号された参照画像でフレームメモリ２０８の内容を強制的に置き換える構成を採用しても良い。

（第３の実施形態）
図１４は、本発明の第３の実施形態に係る画像符号化装置の構成を示す。第１及び第２の実施形態では、フレームメモリ１１０に記憶された参照画像信号を符号化して参照符号列１４７が生成されている。第３の実施形態では動き補償後の参照画像信号（予測画像信号）を符号化して参照画像符号列１４７を生成する。すなわちこの動き補償では、フレームメモリに記憶された参照画像信号の中から通常小領域単位毎（主にマクロブロック単位毎）に最適な部分が選択された参照画像がフレームメモリに記憶される。そのため、動き補償後の参照画像信号１４２はフレームメモリに記憶された参照画像信号１４１に対し、マクロブロック単位に参照画像信号を選択した信号である。

すなわち、図１４においては動き補償適応予測器１１１から出力される動き補償後の（マクロブロック単位に選択された）参照画像信号１４２が離散コサイン変換器１１３、逆量子化器１１４及び可変長符号化器１１５を経て符号化され、参照画像符号列１４７が生成される。こうして生成された参照画像符号列１４７は、第１の実施形態と同様に動画像符号列１３７と別フレームで出力されるか、あるいは第２の実施形態と同様に動画像符号列１３７のフレーム中に付加情報として挿入されて出力される。

図１５は、図１４の画像符号化装置に対応する本実施形態に係る画像復号化装置の構成を示す。ヘッダ逆多重化部によって入力符号列から分離された動き補償後の参照画像符号列２１４は、図１４で説明したように動き補償後の参照画像信号を符号化して得られた符号列である。可変長符号化器２０９、逆量子化器２１０及び逆離散コサイン変換器２１１を経て復号されることにより、動き補償後の参照画像信号２４４が再生される。再生された動き補償後の参照画像信号２４４は、第１及び第２の実施形態のようにフレームメモリ２０８にではなく、動き補償予測器２０７に入力される。

動き補償器２０７では、誤り発生時等には入力された動きベクトル情報２３８とフレームメモリ２０８からの参照画像信号２３９ではなく、上記のようにして再生された動き補償後の参照画像信号２４４を予測画像信号２４０として出力することができる。

本実施形態によると、参照画像が複数枚であったり、参照画像になんらかの加工を加えながら利用する場合においても、領域分割後の入力動画像信号１３２から減算器１０２で直接減算される予測画像信号である動き補償後の参照画像信号１４２を符号化し、誤り発生時の復元用信号として使用することでこの問題を解決することが可能となる。

また、予測符号化される画像フレームにおいては、小領域のマクロブロック単位で予測符号化(INTERモード)を行うか、フレーム内符号化(INTRAモード)を行うか選択しながら動作している場合が多い。その際、フレーム内符号化しているマクロブロックに関しては予測画像信号が存在しないため、参照画像信号を一つのフレームとして出力するのでは無駄な部分が生じてしまう可能性がある。そこで、参照画像信号をフレーム単位で格納する以外に、復号時に必要となるマクロブロック単位で参照画像符号列１４７を選択し、蓄積するよう構成することも可能である。

（第４の実施形態）
第１〜第３の実施形態では、動き補償予測、離散コサイン変換、量子化及び可変長符号化を組み合わせた動画像符号化を例に説明してきたが、本発明はこのような符号化方式に限定されるものではない。例えば、ウェーブレット符号化などの次世代符号化でも、本発明を適用することが可能である。

図１６に、このような種々の画像符号化方式を考慮して一般化した画像符号化装置の基本構成を示す。図１６において、画像符号化部１９０１は参照画像信号を利用して入力画像信号（主に動画像信号）１９３１を符号化して画像符号化列１９３２を出力する。画像符号化部１９０１は、参照画像信号を用いる方式であれば、符号化方式は問わない。画像符号化部１９０１で用いられる参照画像信号１９３３は、参照画像符号化部１９０２で符号化され、参照画像符号列１９３４として出力される。

一方、図１６の画像符号化装置に対応する画像復号装置の基本構成を図１７に示す。入力された符号列から分離された参照画像符号列２０３２は参照画像復号化部２００２で復号され、参照画像信号２０３３が再生される。一方、入力された符号列から分離された画像符号列２０３１は、画像復号化部２００１で復号されるが、その際の参照画像信号として参照画像復号化部２００２で再生された参照画像信号２０３３が存在すれば、これを適宜用いることができる。

（第５の実施形態）
通常、INTRAモードで参照画像を符号化した場合、量子化により元の参照画像との間に誤差が生じてしまう。そこで、符号化時に予測信号として参照画像信号を利用するのではなく、一旦変換符号化を行い量子化まで行った後の画像符号化信号を参照用に利用する。これを付加参照画像符号化信号として復号装置側に伝送することで、量子化による誤差のないシステムを実現することが可能となる。

本発明は、ＲＴＰ（Real-time Transport Protocol）などが実装するフィードバック情報ＲＴＣＰなどと組み合わせて用いることにより、効果をより発揮することができる。ネットワークの誤り情報が受信側から送信側に送られてくることにより、それを付加情報の送信・非送信の判断条件として利用することができるからである。例えば、ＲＴＣＰにより誤りがあったと判定された場合は、次に存在するフレームの参照画像符号列を受信側に送信することになる。

上述した本発明の画像符号化及び復号化は、ハードウェアにより実現してもよいし、処理の一部または全部をコンピュータを用いてソフトウェアにより実行することも可能である。かかるソフトウェア（コンピュータプログラム）は半導体メモリ、ＣＤ−ＲＯＭ等の記録媒体に記録されて流通させても良いし、また無線、有線等の伝送媒体を経由して流通させることも可能である。

本発明の第１の実施形態に係る画像符号化装置の構成を示すブロック図 同実施形態に係るヘッダ多重化部及び制御部を付加した画像符号化装置の構成を示すブロック図 同実施形態に係る画像符号化装置から出力される出力符号列中の画像に係る部分のデータ構造の例を説明する図 同実施形態に係る画像符号化装置から出力される出力符号列中のフレームヘッダ符号列の構造の一例を示す図 本発明の第１の実施形態に係る画像復号化装置の構成を示すブロック図 予測符号化の予測構造を示す図 予測符号化による誤り伝播を示す図 同実施形態による誤り対処法を説明する図 同実施形態に係る参照画像符号列のための出力判定装置の構成を示すブロック図 同実施形態に係る参照画像符号列の復号のための復号化判定装置の構成を示すブロック図 本発明の第２の実施形態に係る画像符号化装置の構成を示すブロック図 同実施形態に係る画像符号化装置から出力される出力符号列中の画像に係る部分のデータ構造を示す図 本発明の第２の実施形態に係る画像復号化装置の構成を示すブロック図 本発明の第３の実施形態に係る画像符号化装置の構成を示すブロック図 本発明の第３の実施形態に係る画像復号化装置の構成を示すブロック図 本発明の第４の実施形態に係る画像符号化装置の構成を示すブロック図 本発明の第４の実施形態に係る画像復号化装置の構成を示すブロック図

符号の説明

１０１乃至１２…動画像符号化部、１１３〜１１５…参照画像符号化部、１１７…ヘッダ多重化部、１３１…入力動画像信号、１３７…動画像符号化列、１４７…参照画像符号化列、１４９…出力符号化列、２０１〜２０８…動画像復号化部、２０９〜２１１…参照画像復号化部、２３１…動画像符号化列、２３６…再生画像信号（第２の参照画像信号）、２４１…参照画像符号化列、２４４…参照画像信号（第１の参照画像信号）

Claims (9)

1. 動画像信号を動き補償適応予測符号化して得られた動画像符号列及び前記動き補償適応予測符号化において使用された参照画像信号を符号化して得られた参照画像符号列を含む入力符号列を復号して動画像信号を再生する画像復号方法において、
   前記入力符号列から前記動画像符号列及び前記参照画像符号列を抽出する抽出ステップと、
   前記動画像符号列を動き補償適応予測復号化して第１の参照画像信号を含む再生画像信号を生成する第１復号化ステップと、
   前記動画像符号列に誤りが生じている場合に、前記参照画像符号列を復号化して第２の参照画像信号を得るとともに、前記動画像符号列を前記第２の参照画像信号を用いて動き適応予測復号化して前記再生画像信号を生成する第２復号化ステップと、
   を具備する画像復号化方法。
2. 前記第２復号化ステップは、前記再生画像信号を前記第２の参照画像信号として記憶すると共に前記第１の参照画像信号をフレームメモリに格納し、該フレームメモリから前記第２の参照画像信号及び第１の参照画像信号を選択的に読み出して前記動画像符号列を復号する請求項１記載の画像復号化方法。
3. 前記第２復号化ステップは、前記再生画像信号を前記第２の参照画像信号としてフレームメモリに格納し、該フレームメモリに記憶された第２の参照画像信号を前記第１の参照画像信号に置き換えて前記動画像符号列を復号するステップを含む請求項１記載の画像復号化方法。
4. 動画像信号を動き補償適応予測符号化して得られた動画像符号列及び前記動き補償適応予測符号化において使用された参照画像信号を符号化して得られた参照画像符号列を含む入力符号列を復号して動画像信号を再生する画像復号装置において、
   前記入力符号列から前記動画像符号列及び前記参照画像符号列を抽出する符号列抽出手段と、
   前記動画像符号化列を動き補償適応予測復号化して第１の参照画像信号を含む再生画像信号を生成する第１の復号化手段と、
   前記動画像符号列に誤りが生じている場合に、前記参照画像符号列を復号化して第２の参照画像信号を得るとともに、前記動画像符号列を前記第2の参照画像信号を用いて復号化して前記再生画像信号を生成する第２の復号化手段と、
   を具備する画像復号化装置。
5. 前記第２の復号化手段は、前記再生画像信号を前記第２の参照画像信号として記憶すると共に前記第１の参照画像信号を記憶するフレームメモリを有し、該フレームメモリから前記第２の参照画像信号及び第１の参照画像信号を選択的に読み出して前記動画像符号列を復号する請求項４記載の画像復号化装置。
6. 前記第１の復号化手段は、前記入力符号列に含まれる動き補償後の前記参照画像符号列を復号して前記第１の参照画像信号を生成し、
   前記第２の復号化手段は、前記再生画像信号を前記第２の参照画像信号として記憶するフレームメモリ及び該フレームメモリから読み出される第２の参照画像信号及び前記第１の参照画像信号のいずれかに対して動き補償を行う動き補償手段を有する請求項４記載の画像復号化装置。
7. 前記入力符号列に対して前記参照画像符号列か否かの判定を行う第１の判定手段と、
   動画像符号列に誤りが生じている場合に参照画像符号列を復号すべきと判定する第２の判定手段と、
   前記第２の判定結果に従い前記入力符号列を復号する復号化手段と、
   をさらに有する請求項４記載の画像復号化装置。
8. 前記第２の復号化手段は、前記再生画像信号を前記第２の参照画像信号として記憶するフレームメモリを有し、該フレームメモリに記憶された第２の参照画像信号を前記第１の参照画像信号に置き換えて前記動画像符号列を復号する請求項４記載の画像復号化装置。
9. 動画像信号を動き補償適応予測符号化して得られた動画像符号列及び前記動き補償適応予測符号化において使用された参照画像信号を符号化して得られた参照画像符号列を含む入力符号列を復号して動画像信号を再生する処理をコンピュータに実行させるためのプログラムであって、
   前記入力符号列から前記動画像符号列及び前記参照画像符号列を抽出する処理と、 前記動画像符号列を動き補償適応予測復号化して第１の参照画像信号を含む再生画像信号を生成する処理と、
   前記動画像符号列に誤りが生じている場合に、前記参照画像符号列を復号化して第２の参照画像信号を得るとともに、前記動画像符号列を前記第２の参照画像信号を用いて動き適応予測復号化して前記再生画像信号を生成する処理と、
   を前記コンピュータに実行させるためのプログラム。

Images